有经验的 v 友看看，这个 AI 知识库私有化部署的方案行吗，怎么改进

[XinPingQiHe]

背景

客户方为集团公司，有相当的规模。

需求

1.大量企业内部使用的行业规范、行业标准文档,需要以文本格式加入知识库。 2.有会议录音，能自动生成会议纪要（区分讲话人），供办公人员修改及使用。 3.必须私有化部署。

暂定方案

知识库及大模型，使用 ollama + qwen2.5:b14 + AnythingLLM 录音到会议纪要，Whisper ASR

问题

客户也是先咨询咨询，这边也是搭建私有环境，做一些测试。 结果，觉得上传的一批 pdf 文档，查询知识库结果，关键词抓取的不是很满意。Whisper 看过 ，整合到系统，还没用。 目标是先验证整体效果的可行性，再与客户沟通、再做相关的应用对接开发 总体来说，也是一些尝试，不知大家有没有更好的，具备可行性的方案。

[JayZXu]

手头有个项目也在尝试做这个，也参加了不少厂家宣发活动。简单来说，很困难
RAG 其实说实话，就是再重走一遍搜索引擎的老路，而且资料还得自己整理

一方面是数据预处理的方法很难把握，因为作为开发实际上没有用户那么精准的把握，随便分段的结果就是一开始奠定了失败。
另外一方面是，系统的易用性需要持续不断的维护和改造，但是对于企业来说，一个没有立竿见影效果的项目，很容易中途夭折。（上次参加百度的大模型宣发时，主讲就强调了，大模型落地需要领导坚定的信心和支持才能做成。）


AI 知识库目前还是靠向量搜素来压缩语义，靠原来的 ES 分词之类的关键词搜索还是达不到要求。另外向量搜素也会出现跟提问偏差很大的情况，所以还需要 ReRank 模型重排结果。上面完整的开源项目可以参考 fastgpt ，https://doc.fastgpt.cn/docs/course/rag/ 里面有知识库搜索的实现方法。

目前我手上的项目主要步骤
1. 特定文档定制的切分方案，丢给 ES 存储，同时将切分文本丢给向量模型转换成向量存向量数据库
2. 用户问问题，ES 搜索 + 向量数据库搜索返回 Top K ，返回的 2K 个文本用 ReRank 模型排序打分，然后文本去掉低评分的丢给大模型

上述的方法能一定程度改善本来有文本但是搜索不准的问题。

[scstriker]

@musi graphrag 也不行么？看一些介绍不是还好。

[musi]

@scstriker #22 graphrag 成本也挺大的，预先通过 llm 提取出文档中的实体，意味着最起码需要把所有的文本让 llm 过一遍，最终还是要走到 graph search 这一步。其实目前市面上的文档检索是和 llm 无关的，llm 在 rag 能做的只有数据预处理和后处理，效果还是取决于检索，如果只用 graph search 这一种方式还是很难达到预期

[kneo]

说句不好听的，你没那两下，这活硬接下来和骗钱没区别了。

[YiXinCoding]

私有化部署语音转会议纪要这块我有经验。可以演示，商用合作可以联系我。邮箱：eWl4aW4uY29kaW5nQHFxLmNvbQ==

[beginor]

ollama/llama.cpp 之类的虽然快+省，但是对多模态模型支持比较差，或者说是很差。

企业级应用没有多模态支持，说不过去，这个需求满足不了，估计很难让金主满意。

但是用 Python 部署的话，需要的资源得增加几倍才行。

[asahim]

战略性插眼，学习方案

[Leon6868]

@magicZ #10 我用 4 卡 v100 ，lmdeploy

[hwb]

战略性插眼，学习方案

[DreamingCTW]

我最近也在部署，目前是 ollama+qwen2.5:72b ，知识库没找到什么好的方案，我单位文档居多，没有音频需求。

[XinPingQiHe]

多谢各位的建议，方案优化及大模型整合到应用，正在进行中

[qqqnnn]

战略性插眼，学习方案

[mingcore]

战略性插眼，学习方案

[zjudongze]

插眼，我在公司内部搞了一个框架，效果太差，已经继续不下去了

[specture]

有类似需求,mark 一下