这是一个创建于 583 天前的主题，其中的信息可能已经有所发展或是发生改变。
前几天看到 privateGPT 的新闻，立马就部署跑一下，但一直不成功。今天在 Mac Mini M1 上终于跑起来了。机器的内存是 16GB 。
总体感觉是高级 Solr 。能理解问题，但只是返回已索引的字符串。（“索引”一词可能用在 AI 方面不适当，但大家应该能理解）。就是相比 ChatGPT ，没有总结。但是，我只是简单地索引一个文档，然后进行查询。
然后就是，英文的效果好一点，中文几乎不能回答。可能要换个模型。github 上的 issue 有提到。
经过昨天的更新，索引速度很快，也大大降低了内存占用。但是回答问题的查询速度，慢很多，内存占用超过 12GB （ Mac mini 上显示的）。家里电脑因为内存不足而导致回答问题的进程挂掉。
项目地址 https://github.com/imartinez/privateGPT
以下是一些简单的实验结果：
-
只索引项目自带的文档。 - 问：How many states of America? - 答：The United States is a member among with 20 other nations. - 该答案在原文第 35 行（包含空行）
-
只索引《 SQL 必知必会.pdf 》 - 中文问使用 SQL 怎样删除数据，答非所问。 - 英文问 How to delete data with SQL ？能找到 DELETE 的介绍，但是整段英文。
-
只索引《第一次亲密接触.txt 》 - 中文问题都没能回答。例如：轻舞飞扬是男的还是女的？
4 条回复 • 2023-05-26 07:50:07 +08:00
 |
1
elmagnificogg 2023-05-18 09:43:30 +08:00
试了一下 PandaGPT ，直接读 PDF 返回问题答案和索引页，索引页会给好几个，其中有一个是正确的
但是回答问题还是好慢好慢，这效率，除非你文档超级多，单文档超级长，不然和自己手动搜一下关键词，还是慢很多的 |
|
2
elmagnificogg 2023-05-18 09:46:02 +08:00
PandaGPT 支持中文，但是回答一个问题估计时间都是 20s 以上
不知道 op 的 privateGPT 要多久 目前感觉这种效率是不如关键字本地直接搜索的，本地搜索加人工筛选都要不了 20s |
 |
3
fox0001 OP @elmagnificogg #2 这个 privateGPT 主要是本地部署和离线运行。回答问题也是很慢。
|
 |
4
youthfire 2023-05-26 07:50:07 +08:00 via iPhone
我的 18 年 mbp ，16g 内存，回答一个问题超过了 10 分钟，质量也低。我 ingest 了两份普通 pdf 报价单，不超过 20 项。英文询问了其中某个件号的，乱糟糟给了整个报价表。这个效率基本上失去了实用性。
|
Select Language