这是一个创建于 430 天前的主题，其中的信息可能已经有所发展或是发生改变。
需求：
- 构建英文 pdf 知识库，一次对话讨论可以涉及多个文件
- 向量数据库最好本地化
- 不需要本地部署模型，所有 embed, rerank, chat models 都用 api
- 不需要用户管理等冗余功能
看好多方案，ragflow fastgpt langchain-chatchat ，不知道实际用起来如何？或者有其他推荐的方案？
ChatGPT-Next-Web-langchain 感觉在上游的简单前端框架下加 rag 的逻辑，还是有点勉强了。
第 1 条附言 · 2024-07-14 16:07:19 +08:00
langchain-chatchat 0.3.1 ，尝试部署了下，这个确实挺轻量，但呈现出来的是一个相当 prototype 的产品，不知道为什么 star 这么多，最新的 docker 0.3.0 基本是不可用的。
第 2 条附言 · 2024-07-15 15:52:41 +08:00
好多人提到 dify ，如果有团队使用需求，可以尝试下 dify ragflow danswer 。这几个看了下 docker-compose ，感觉都比较重了。
第 3 条附言 · 362 天前
update:
现在ragflow等已经支持graphrag了（dify不支持）。更好的rag策略还包括，anthropic的contextual-retrieval 等等。
对比使用来看，传统直接做分割的确实存在很多问题痛点。
 |
1
mumbler 2024-07-14 13:53:32 +08:00
个人用吗，可以试试 flashai.com.cn 的云端版，开箱即用，支持 mac 和 win ，本地知识库+本地向量化，另外还有带本地大模型版本
|
 |
2
GrayXu OP @mumbler #1 谢谢，这个方案看上去限制蛮多的，付费了也只有 8b 的模型。我们已经有 embedding, rerank, chat 的完整 api 服务了。
|
 |
3
lixen9 2024-07-14 14:52:56 +08:00  1
fastgpt 试用过感觉还行，蛮符合你的需求来着，开源版本即可
|
|
4
GrayXu OP @lixen9 #3 谢谢 试了一圈 fastgpt 确实是最好上手的。看了下小规模使用下，开源版本没啥问题，就是配置系统比较麻烦 XD
|
 |
6
echoless 2024-07-14 17:17:54 +08:00
embed, rerank 这些 api 你是用的开源的么?
我倒是想整合 RAG 这些到 https://github.com/swuecho/chat (只有 chat 功能) 然后可以(optional) 配置 embed, rerank API. |
|
8
GrayXu OP 1
@echoless #6 你可以关注下 siliconflow ，最近上了 embedding ，后面会上 rerank 。
|
 |
9
pieerepeng 2024-07-14 20:09:12 +08:00 1
|
 |
10
SoloKing 2024-07-14 20:34:13 +08:00 via Android 1
dify+1
|
 |
11
wm5d8b 2024-07-15 08:43:01 +08:00 via Android
模型不在本地部署，全用 api ，钱包它同意嘛
本地用 ollama 部署挺简单的，就是大概 12G 显存得 24 小时处于 standby 状态 |
 |
13
zqqian 2024-07-19 10:54:53 +08:00
所以楼主最后调研的结果是什么，能说一下吗？
|
|
14
GrayXu OP @zqqian #13
FastGPT ，感觉是满足功能需求的最轻的选择了。问题的话，还是存在一些小 bug ，然后看上去他们社区版维护的比较随意。 |
 |
17
skykk1op 279 天前
楼主有调研结果吗？我需要一个部署在本地的知识库
|
 |
18
yibo2018 134 天前
需要+1
|
Select Language