问题描述：准备搭一套企业内部问答系统，其中包含研发团队中通用的组件使用的问题，因此一方面需要把相关组件的使用手册收录到知识库中，另一方面希望能直接把相关代码喂给大模型，这样在回答相关问题时能给出些示例
诉求：计划在公司搭一套大模型的对话平台，回答企业内部员工的问题
使用群体：公司员工
知识库内容：
- IT 知识：包括域账号、网络、办公设备等
- 人事：包括入离职、人事规章制度等
- 行政：包括公司相关规章制度等等
- 研发助手：主要包含公司内部通用组件的问答
方案：
- 模型：Llama3.1-8b
- 应用：dify （计划使用 dify ，如果效果不好，可能会自己开发替换 dify ）
- 向量库：一部分使用 dify 自带的，一部分准备自己用 milvus 搭建，提供 api 在 dify 流程绘制中使用
以上知识库的搭建基本能满足非研发相关的问题咨询，但是关于研发相关的，效果可能不好，因此该如何处理代码相关的问答，能否通过 RAG 来实现，是否需要 Fine-tuning ？
各位有没有过类似的实战经验，或者提供些关键词，方便我了解下
9 条回复 • 2024-08-27 09:10:07 +08:00
 |
1
LuckyLauncher 27 天前
现在 RAG 的准确度基本都不高，导致大模型幻觉还是很严重，你可以试试，效果应该不会很理想
|
 |
2
liprais 27 天前
这个事只会给你惹一身骚，不会有别的结果
|
 |
3
ahjiangwu OP @LuckyLauncher 是的，所以现在没有很好的思路，不知道该如何下手，按照我自己的理解，纯 rag 应该不咋样，代码库的向量化也不知该如何做
|
 |
5
Clannad0708 27 天前
最近在搭建 kubelfow+milvus 。调研搭了一套，倒是没有实际使用情况。蹲蹲楼主后续技术选型，怎么实现的模型训练与 AI 的一整套流程
|
 |
6
targz 27 天前
使用群体是公司内部的话，可以玩，但是要少玩
|
 |
7
yinmin 26 天前 via iPhone
（ 1 ）你需要微调大模型，而不是 rag
（ 2 ） 8B 是玩具，需要至少 50B 以上的参数 （ 3 ）大模型会幻想，回答有误导致的问题，锅一个一个甩过来，OP 能接住吗？ |
 |
8
mwuxlcanrh 26 天前
要明确自己这个机器人的边界是啥，初期最好聚焦 1-2 个功能点，使用 prompt 进行问题的识别与拆解。
llm 不是一颗万能的银弹，好的 robot 背后需要非常大的工程开发。先从小功能做起吧。 |
Select Language