我想打造的一个基于 AI 大模型能力的 RAG 工具

344 天前
prenwang  prenwang
关于 RAG 的的话题还在不停迭代, 各种框架就不用说了。

这个 RAG 的数据源一直是个头疼的问题, 虽然我其实只想弄一个自己的 RAG 库, 但是我的使用范围场景其实也是不断变化, 不可预测, 因为我确实没什么做长远计划的习惯, 没有任何自律习惯,属于靠不断内心精神斗争驱动做事的一类人。

我现在再不想提前收集各种海量数据来 Index , 过去太多无意义的经验教训, 比如我直接废弃了超过 3000 个笔记的印象笔记文档, 从此再也不用任何笔记本, 只用备忘录记录关键资源信息, 使用浏览器收藏夹来记录链接, 链接失效也不可惜。

随着年龄增长,记忆力越来越退步, 我开始越来越相信和依靠大脑管事,把注意力放在关注的事情上,记得住的就是应该记住的, 实在记不住的就是无需记住的。

我希望做的 RAG 知识库应该是这样:

- 所有需要索引嵌入的内容必须是我关注的,感兴趣的
- 要支持各种模态的数据, 图片,视频,音频,文字处理,(统一处理到文字就可以了)
- 操作一定要简单:输入方式包括,拍摄,录音上传即可,文件类上传即可, 可剪贴类一键发送
- 自动识别,自动归纳摘要,自动分类打标签,自动评级机制(非常重要)
- 增加几个个人专用标签,比如"每日胡说八道"之类,有空对着手机录完嵌入。
- 多样化的简单易用的 API 接口, 各种场景可用
- 可以被可视化分析
- 可以输出数据集微调模型

总的来说, 就是我的另一个自组织的“大脑”, 然后给这个大脑配置几个 taskAgent , 随着世界的发展跟着优化迭代。

我觉得这应该是一个比较有意思的事情。

技术选型方面, 当然是轻量级的, 毕竟就我自己调用。

- python: 没得说了,
- sqlite: 存储原始数据, 方便后期重构嵌入。
- chramdb:支持本地文件持久化, 不要对云强依赖
- 多种云同步:保持冗余防止丢失
- 其他的想到再说

随着未来的技术发展,可能我这事会越来越简单,我这操作能坚持几年也说不准。说不准老年痴呆了也能有个伴
2046 次点击
所在节点   奇思妙想  奇思妙想
4 条回复
qweruiop
qweruiop
342 天前
支持开源产品
kuber
kuber
339 天前
也有同样的想法。现在的笔记应用太繁琐了。需要自己人工组织笔记之间的关系,如果能自动组织就好了。
prenwang
prenwang
337 天前
个人知识图谱的需求是越来越强烈了, “第二大脑”呼之欲出了
yinzhou
yinzhou
154 天前
any update?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1021062

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX