想利用大模型搭建企业内部的问答系统，但关于「公司项目代码」的问题，如何处理

[ahjiangwu]

问题描述：准备搭一套企业内部问答系统，其中包含研发团队中通用的组件使用的问题，因此一方面需要把相关组件的使用手册收录到知识库中，另一方面希望能直接把相关代码喂给大模型，这样在回答相关问题时能给出些示例

诉求：计划在公司搭一套大模型的对话平台，回答企业内部员工的问题
使用群体：公司员工
知识库内容：

• IT 知识：包括域账号、网络、办公设备等
• 人事：包括入离职、人事规章制度等
• 行政：包括公司相关规章制度等等
• 研发助手：主要包含公司内部通用组件的问答

方案：

• 模型：Llama3.1-8b
• 应用：dify （计划使用 dify ，如果效果不好，可能会自己开发替换 dify ）
• 向量库：一部分使用 dify 自带的，一部分准备自己用 milvus 搭建，提供 api 在 dify 流程绘制中使用

以上知识库的搭建基本能满足非研发相关的问题咨询，但是关于研发相关的，效果可能不好，因此该如何处理代码相关的问答，能否通过 RAG 来实现，是否需要 Fine-tuning ？

各位有没有过类似的实战经验，或者提供些关键词，方便我了解下

[LuckyLauncher]

现在 RAG 的准确度基本都不高，导致大模型幻觉还是很严重，你可以试试，效果应该不会很理想

[liprais]

这个事只会给你惹一身骚，不会有别的结果

[ahjiangwu]

@LuckyLauncher 是的，所以现在没有很好的思路，不知道该如何下手，按照我自己的理解，纯 rag 应该不咋样，代码库的向量化也不知该如何做

[ahjiangwu]

@liprais 倒不是组织任务，只是想探索性的尝试

[Clannad0708]

最近在搭建 kubelfow+milvus 。调研搭了一套，倒是没有实际使用情况。蹲蹲楼主后续技术选型，怎么实现的模型训练与 AI 的一整套流程

[targz]

使用群体是公司内部的话，可以玩，但是要少玩

[yinmin]

（ 1 ）你需要微调大模型，而不是 rag
（ 2 ） 8B 是玩具，需要至少 50B 以上的参数
（ 3 ）大模型会幻想，回答有误导致的问题，锅一个一个甩过来，OP 能接住吗？

[mwuxlcanrh]

要明确自己这个机器人的边界是啥，初期最好聚焦 1-2 个功能点，使用 prompt 进行问题的识别与拆解。

llm 不是一颗万能的银弹，好的 robot 背后需要非常大的工程开发。先从小功能做起吧。

[ahjiangwu]

@yinmin 感谢分享
被甩锅倒是还好，用 8b 只是不太想申请太多硬件资源，关于代码作为数据的微调有没有实践经验可以分享一下