求助: 如何满足大模型生成的地点结果的准确性和速度性

[HeyCaptainJack]

我的场景是: 让 LLM 输出某个城市的几个推荐的景点的位置，同时需要保证这些地点是真实存在的，纯粹通过 Prompt 约束，明显是不行的。

现在我通过 Gpt-4o 的 Structured Output ，对其生成结果逐个进行真实性查询，倒是能达到效果，但是缺点是：Structured Output 没法实现 Stream 的方式输出，导致结果要超过 10s 才出现

求助：如何既能保持真实性又能满足 stream 输出呢？

[gaobh]

接入地图 API 来判断真实度，大模型谈真实本来就是相悖的

[HeyCaptainJack]

@gaobh 嗯，目前确实是通过地图 API 来判断的，就是这样速度就慢了很多

[vevlins]

为什么不前置给个景点的知识库，或者对输出结果做缓存，你对于某个城市的输出结果不总是一致的是吗

[forgottencoast]

@HeyCaptainJack
全国的景点一共没多少个，全收集起来，用不着地图 API 吧。

[HeyCaptainJack]

@vevlins RAG 这块代码，我没具体实操过，请问配置好知识库之后，能 100%按知识库的推荐来输出吗

[HeyCaptainJack]

@forgottencoast 对于 5A, 4A 景点啥的，这些数据能找到，但是比如小县城，就没有这些，不知道数据源要从哪获取？

[forgottencoast]

@HeyCaptainJack
怎么可能没有，大众点评，携程，马蜂窝，几乎没有你找不到的景点。
定期维护即可。

[HeyCaptainJack]

@forgottencoast 嗯，是的，这里面数据很多，不过只能爬过来自己维护了

[forgottencoast]

@HeyCaptainJack
他们可能会有付费的 api 。

[vevlins]

@HeyCaptainJack 你说的我不确定，你可以用 fastgpt 或者 302.ai 之类封装过的工具先快速试验下，他们支持上传 pdf 作为知识库，每次提问后会先搜索知识库，然后再进行回答。

[HeyCaptainJack]

@forgottencoast 一般这种，都不提供 api 的

[bigtear]

配置好知识库，让 AI 直接给出知识库里保存的位置 ID ，然后对比

[KHHj7U2DNR]

你是圆周笔记 app 的开发者吗？圆周笔记可以根据小红书帖子生成地图景点。

[HeyCaptainJack]

@KHHj7U2DNR 嗯，圆周那个，是基于笔记内容，抽出来对应的位置，真实度可信，我这个需求不一样

[HeyCaptainJack]

@bigtear 嗯，就是不清楚能否💯完全按照知识库内容输出

[mumbler]

解决幻觉最好办法就是知识库，现在的大模型已经足够听话了，我们还会让大模型回答问题同时还要把资料出处给出来，用户自己也能再核查一遍真实性。说实话，旅游景点比法律法规容错性高多了

[HeyCaptainJack]

@mumbler 哈哈，现在想起来，AI 法律可是真难啊