公司想搞一个关于 AI 问答的知识库

[hui9000]

目前主要有俩需求：

1. 对于常用知识进行问答，对于公司内部知识（如请假流程，内部代码建议等）可以训练并问答
2. 可对于目前的内部流程，销售等进行建议；我们公司各个部门内部流程上千。

感觉是需要大模型进行训练，但又苦于不知去哪找到合适的；部署的话可以利用公有云或者私有云都可；（公司内部有私有云） 常识性公开的问答可以用 chatgpt 我这边可以按照 api 进行弄个前端搞，基于 gtp3.5 但是内部流程的话或者销售数据公司领导不想给到外部进行训练。 请问有没有好的方式进行实施，交作业

[Aruen8]

哪个公司呀？

[hui9000]

@Aruen8 3 线非互联网公司。

[gaobh]

首先买一个 a100 或者买至少 4 块 4090 ，然后找个中文开源大模型框架训练即可，然后训练完你需要 gpu 服务器部署或者用 a100 部署，不知道你们公司财力怎样，要求并发的话一个月至少话 1 万？

[sweat89]

RAG

[linch97]

chatglm 6B 或者 13B ？这俩训练成本没那么高，只是问答应该也足够用了

[bk201]

找个外部提供服务的进行私有部署

[x86]

低成本
https://docs.aiproxy.io/dev/library

[luny]

智谱 AI 大模型，好像可以私有化部署，算力要求不高，可以了解下

[0703wzq]

试试看这个能不能满足： https://github.com/labring/FastGPT

[listenfree]

https://github.com/chatchat-space/Langchain-Chatchat

找类似的 chatglm3 + langchain ，完成你说的两个任务，调整好参数，适当修改知识库内容，花不了多少钱。

[kidult]

3 楼的方案可以，用 gpt 的话肯定是要外泄数据的，如果只需要 3.5 的能力还是申请公司资源自己搞吧，搞完直接升职加薪

[c5QzzesMys8FudxI]

最近我也在研究本地化部署问答知识库，正在使用 FastGPT + M3E + chatglm3

[holysin]

上次开会听说很多公司都有对应的解决方案，但是肯定是要微调的，你们还得买几张卡....

[lozzow]

我司有解决方案，要不要联系下，低成本

[PaulSamuelson]

你看看这个——https://segmentfault.com/a/1190000044459875#item-6
这个是直接用人家现成的。你可以先试用一下，看看效果。
它这个的优势是，只需要提供文档，然后就可以提问了。

[graetdk]

可以试试 https://www.modihand.com/

[churchmice]

@graetdk #16 网页做的不错，然而随便聊几句真是呵呵

[lneoi]

网上开源的可私有部署模型 + langchain 可以实现知识库相关的系统

[qdlidada]

我司有现成解决方案,可提供私有化部署,需要联系

[hui9000]

@gaobh 财力还可以吧 ，一年流水 200 亿左右 上市公司，利润不高，主要可能上面想降本增效，都不好过