友友们,关于根据知识库回答或者检索的有什么好的开源项目吗

224 天前
nmyxzh  nmyxzh

希望用于给用户回答问题,检索出信息,类似回答下答案,给他下来源哪儿篇指导手册之类的,要私有化,不依赖外部 api 。

目前已知的基于 Embedding+RAG+LLM 的类似工作流的系统有 Dify Langchain fastgpt 之类的,但是这些下游 LLM 服务消耗的资源太大了,看起来简单的 LLM 模型都得一个 16G 显卡,这个成本有点高

现在有这些问题

  1. 有什么好用的 LLM 模型可以开源商用的,成本低的,或者显卡要求低些的模型吗
  2. 有没有开源的项目设备要求低点,比如只要 CPU 就行的,类似那种基于简单词向量,计算编辑距离那种的,融合了很多策略那种,成套的开源服务吗,类似百度古老的 AnyQ 一样的
  3. 我的检索关键词有问题吗,有什么好的检索关键词推荐吗

可以找到的相关帖子 https://cn.v2ex.com/t/999563

2448 次点击
所在节点   机器学习  机器学习
11 条回复
fredweili
fredweili
224 天前
llama3 8b 资源要求不高,m1 pro 16g 就能跑了,效果也还行
ladeo
ladeo
224 天前
@fredweili
m1 pro 16g 跑的是量化的还是 bf16 ?
推理速度怎么样?
我自己的 4070 12G 感觉不量化的话速度还是慢
fredweili
fredweili
224 天前
@ladeo 量化参数不清楚,用 ollama 安装的
MoYi123
MoYi123
224 天前
B 站前几天开源的这个 https://github.com/bilibili/Index-1.9B
配置要求应该挺低的.
shengkai
shengkai
224 天前
shengkai
shengkai
224 天前
对不起粗心没注意要私有化,上面回答的请忽略…
jianchang512
jianchang512
224 天前
MaxKB 应该可以的。正在使用

开源、私有部署

https://github.com/1Panel-dev/MaxKB
jianchang512
jianchang512
224 天前
api 可使用本地部署大模型
RandomJoke
RandomJoke
224 天前
目前这些工作流系统都大差不差,可选择的也挺多的,LZ 想要的是低成本的 LLM ,这个目前来说就没有,meta 开源的 llama3 已经算是消费级显卡上能玩了,本质上 LLM 目前来说就是得靠 GPU 。现阶段比较好的方案就是如果轻量使用,则调用大厂的 API ,不然想要低成本玩转还是很困难的
wheat0r
wheat0r
224 天前
等浏览器内置模型普及了,在客户端跑
MrDarnell
MrDarnell
193 天前
@jianchang512 你这个不是还要接第三方么?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1051362

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX