前几天看到 privateGPT 的新闻,立马就部署跑一下,但一直不成功。今天在 Mac Mini M1 上终于跑起来了。机器的内存是 16GB 。
总体感觉是高级 Solr 。能理解问题,但只是返回已索引的字符串。(“索引”一词可能用在 AI 方面不适当,但大家应该能理解)。就是相比 ChatGPT ,没有总结。但是,我只是简单地索引一个文档,然后进行查询。
然后就是,英文的效果好一点,中文几乎不能回答。可能要换个模型。github 上的 issue 有提到。
经过昨天的更新,索引速度很快,也大大降低了内存占用。但是回答问题的查询速度,慢很多,内存占用超过 12GB ( Mac mini 上显示的)。家里电脑因为内存不足而导致回答问题的进程挂掉。
项目地址 https://github.com/imartinez/privateGPT
以下是一些简单的实验结果:
只索引项目自带的文档。 - 问:How many states of America? - 答:The United States is a member among with 20 other nations. - 该答案在原文第 35 行(包含空行)
只索引《 SQL 必知必会.pdf 》 - 中文问使用 SQL 怎样删除数据,答非所问。 - 英文问 How to delete data with SQL ?能找到 DELETE 的介绍,但是整段英文。
只索引《第一次亲密接触.txt 》 - 中文问题都没能回答。例如:轻舞飞扬是男的还是女的?
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.