This topic created in 213 days ago, the information mentioned may be changed or developed.
如果用户要总结一个超大文本，这种任务需要 RAG 单独设计一个逻辑，目前业界似乎没有一个好的解决方案。
参考了腾讯的 IMA ，它的总结是直接拿固定长度的文本放到上下文的；
NotebookLLM 总结的效果不错，推测是直接利用了 Gemini 的长上下文做的；
目前用的本地 AI 上下文长度比较短，限制了 AI 的发挥，所以只能在建索引库的时候做优化了。
有没有大佬指导有什么方案可以达成速度和准确性均衡的方案？
目前是想每 n 段文本 Chunk 生成一个总结内容，但是这样还是会速度很慢。
参考了腾讯的 IMA ，它的总结是直接拿固定长度的文本放到上下文的；
NotebookLLM 总结的效果不错，推测是直接利用了 Gemini 的长上下文做的；
目前用的本地 AI 上下文长度比较短，限制了 AI 的发挥，所以只能在建索引库的时候做优化了。
有没有大佬指导有什么方案可以达成速度和准确性均衡的方案？
目前是想每 n 段文本 Chunk 生成一个总结内容，但是这样还是会速度很慢。
Select Language