我想打造的一个基于 AI 大模型能力的 RAG 工具

关于 RAG 的的话题还在不停迭代，各种框架就不用说了。

这个 RAG 的数据源一直是个头疼的问题，虽然我其实只想弄一个自己的 RAG 库，但是我的使用范围场景其实也是不断变化，不可预测，因为我确实没什么做长远计划的习惯，没有任何自律习惯，属于靠不断内心精神斗争驱动做事的一类人。

我现在再不想提前收集各种海量数据来 Index ，过去太多无意义的经验教训，比如我直接废弃了超过 3000 个笔记的印象笔记文档，从此再也不用任何笔记本，只用备忘录记录关键资源信息，使用浏览器收藏夹来记录链接，链接失效也不可惜。

随着年龄增长，记忆力越来越退步，我开始越来越相信和依靠大脑管事，把注意力放在关注的事情上，记得住的就是应该记住的，实在记不住的就是无需记住的。

我希望做的 RAG 知识库应该是这样：

- 所有需要索引嵌入的内容必须是我关注的，感兴趣的
- 要支持各种模态的数据，图片，视频，音频，文字处理，（统一处理到文字就可以了）
- 操作一定要简单：输入方式包括，拍摄，录音上传即可，文件类上传即可，可剪贴类一键发送
- 自动识别，自动归纳摘要，自动分类打标签，自动评级机制（非常重要）
- 增加几个个人专用标签，比如"每日胡说八道"之类，有空对着手机录完嵌入。
- 多样化的简单易用的 API 接口，各种场景可用
- 可以被可视化分析
- 可以输出数据集微调模型

总的来说，就是我的另一个自组织的“大脑”，然后给这个大脑配置几个 taskAgent ，随着世界的发展跟着优化迭代。

我觉得这应该是一个比较有意思的事情。

技术选型方面，当然是轻量级的，毕竟就我自己调用。

- python：没得说了，
- sqlite：存储原始数据，方便后期重构嵌入。
- chramdb：支持本地文件持久化，不要对云强依赖
- 多种云同步：保持冗余防止丢失
- 其他的想到再说

随着未来的技术发展，可能我这事会越来越简单，我这操作能坚持几年也说不准。说不准老年痴呆了也能有个伴