公司想搞一个关于 AI 问答的知识库

[hui9000]

目前主要有俩需求：

1. 对于常用知识进行问答，对于公司内部知识（如请假流程，内部代码建议等）可以训练并问答
2. 可对于目前的内部流程，销售等进行建议；我们公司各个部门内部流程上千。

感觉是需要大模型进行训练，但又苦于不知去哪找到合适的；部署的话可以利用公有云或者私有云都可；（公司内部有私有云） 常识性公开的问答可以用 chatgpt 我这边可以按照 api 进行弄个前端搞，基于 gtp3.5 但是内部流程的话或者销售数据公司领导不想给到外部进行训练。 请问有没有好的方式进行实施，交作业

[hui9000]

@x86 @0703wzq @listenfree @duanquanwu @graetdk 好的我试试，谢谢大家

[so1n]

https://datawhalechina.github.io/llm-universe/#/

[hui9000]

@lneoi OK 我找找 感谢回复

[karatsuba]

1.用 chatgpt 自带的功能挂 langchain 解决，缺点是收费
2.用本地跑模型训练或者外挂知识库，缺点是有硬件门槛而且没有 chatgpt 好使

[RealJacob]

简单弄都不需要训练吧，弄个向量数据库存一下你们的相关信息，langchain 接一下 gpt 和这个向量数据库就完事儿了

[clino]

王健硕的 chato 是不是就是搞这个的 https://chato.cn/
就是不知道能不能私有部署

[em70]

知识库不需要微调,通过向量库把资料给到 prompt 就行了,私有部署建议用通义千问 14B,是目前消费级显卡能跑的最好的中文开源模型,chatglm 问题太多了,6B 能力也有限. 更强的模型显存超过 24G,需要 A100,H100,你们买不得,也没必要

[mylastfire]

@em70 请问个人在家庭服务器上想部署知识库，您这个是最佳选择吗？

[kkhaike]

之前用 longchain 接过。。感觉效果不好，就像 gpt 帮你搜索出来结果打出来一样，不像从 gpt 自己嘴里说出来那样

[Hider5]

fastgpt

[jingcoco]

从哪搞 GPU ,感觉现在方案好多,就缺价格合适的显卡

[zhumengyang]

https://chat.swoole.com/#/subscribe

[em70]

@mylastfire #28 是,淘宝买一块 2080ti 魔改 22G, 大概 2500 元,就能跑 14B 模型

[em70]

@kkhaike #29 知识库搭起来容易,但真的要工作,需要花大量时间做数据对齐和调试 prompt,做一个好产品从来都不是容易的事

[znonymous]

https://github.com/StanGirard/quivr

[vacuitym]

这个 openai 的 assistant 很适合啊，专门有个根据文档回答问题的，我有对接，你可以试下： https://chat.vacuity.me/

[jmljava]

大模型加向量化考虑一下,特定内容向量化问答,通用问题大模型生成

[datoujiejie221]

部署一个 dify https://github.com/langgenius/dify,先把知识库搞起来,隐私数据就用私有化的,模型训练的话先不用想了。

[TimePPT]

RAG 检索 / ES 检索，得出 TopN 结果，输出给 GPT ，然后再融合生成最终结果。
效果关键：
1. 语料预处理要好，本身的结构清晰、不重不漏。
2. Prompt 约束完整，写清楚目标，链路，给出正例。并对 badcase 情况明确说 Don't Do It!

[lingxmo]

@em70 7900xtx 可以吗🙆‍♂️