公司想搞一个关于 AI 问答的知识库

[hui9000]

目前主要有俩需求：

1. 对于常用知识进行问答，对于公司内部知识（如请假流程，内部代码建议等）可以训练并问答
2. 可对于目前的内部流程，销售等进行建议；我们公司各个部门内部流程上千。

感觉是需要大模型进行训练，但又苦于不知去哪找到合适的；部署的话可以利用公有云或者私有云都可；（公司内部有私有云） 常识性公开的问答可以用 chatgpt 我这边可以按照 api 进行弄个前端搞，基于 gtp3.5 但是内部流程的话或者销售数据公司领导不想给到外部进行训练。 请问有没有好的方式进行实施，交作业

[laminux29]

楼上那些人都没认真看要求吗？

楼主说了，不希望用公共的 AI ，因为担心公司数据外泄。

这种情况只能选不联网的私有化部署的开源大模型才行。

[blessu]

微软云的 openai service 不知道能不能用，可以的话就从服务合同的角度避免外泄

[em70]

@lingxmo #40 只有英伟达不折腾,其他 GPU 也行,就是问题多,得花时间去调试解决

[clemente]

LLAMA2 完事了

[hui9000]

@TimePPT 请问这种的话会有本地数据外泄的风险么

[crazychang]

借贴问问 像这种需求 oa 中大量各种格式文档应该如何处理？

[TimePPT]

@hui9000 如果直接调取 GPT ，有一定安全合规风险，要求不是很高可以考虑 RAG 完的结果做下脱敏再扔给 GPT ，回复结果里再把脱敏信息还原。
如果安全合规要求很高，保险期间用私有化部署的开源模型也行，可以找下魔改过的对中文友好的 llama2 ，或者国产可以看下 Yi / Baichuan 之类的

[TimePPT]

@crazychang 格式文档预处理有一些开源框架能做，比如 PDF 、Excel 之类的解析，不过如果长期方案，建议做下归一化处理成结构、半结构化的统一格式做索引——比如 Markdown or json ，这样有其他诉求，上 DB 也方便
大模型自己去解析封装好的格式文档基本不靠谱，GPT 之类的应该也是做了前置解析处理的

[blackbookbj277]

关注下，同样需求不联网的私有化部署的开源大模型的问答系统，单位工作需要大量的法律、规章制度等内容，如果能不联互联网情况下部署最好了，私有云有 GPU 资源是不是可以用。

[hui9000]

@blackbookbj277 我稍微研究了几天，也结合了大家的建议，你跟我的需求大致差不多，对于内部知识资料等可以用开源模型搞就行，类似知识库这种上面有；
问答还是交给 chatGPT ；结合两者可以构建应用，也就是所说的基于 api 构建问答系统；
我现在在研究 https://docs.dify.ai/v/zh-hans/getting-started/readme 这个

[hui9000]

@blackbookbj277 这样成本比较低，如果你那边 gpu 资源够用 就直接全部自己搞

[LDa]

建议推掉这种活，不要高看公司能给你的数据质量

[smalltong02]

可以试试这个开源项目： https://github.com/smalltong02/keras-llm-robot

[wwhc]

不是应该用类似 github.com/imartinez/privateGPT 之类的开源项目么？

[guozozo]

@hui9000 #50 效果如何？