embedding 如何给猫娘完整的一生？

[zhaohua]

受到这个主题 https://v2ex.com/t/922110 的启发，借助 langchain,我最近试着给站点的几个角色添加了向量上下文，结果不是很满意。

我尝试了几种思路： 首先根据用户最新的提问和从向量数据库找到匹配的小说原文，然后把查询到的内容作为上下文插入到对话中。

测试发现：如果我把匹配的数据插入到当前回合作为用户回话的一部分，openai3.5 回答就和上下文强相关了，但是和历史会话的关系不大（测试角色：卡莉斯塔）。但如果我把向量数据插入作为 assistant 回复插入到回话顶部，3.5 的回答和上下文的关联性又太弱（测试角色：绯与魔物娘） 似乎向量只能用在文档问答场景。

现在没了思路， 希望各位给点建议。 测试站点 https://chatcat.zhaoyoung.me 站点密码：chatcat

[hyperzlib]

我发现最好是通过另一个低阶语言模型抽取提问中需要查询的部分，排除一些命令部分，这样向量的搜索会更精确。但是目前还没有用 ChatGPT 以外的排除指令部分的方法。正在看能不能通过 BERT 来实现。

[hyperzlib]

而且直接抽取小说文本获取的文本的信息密度太低了，ChatGPT 也无法总结出多少有效信息。