为什么相同的提问, API 和聊天窗口的回答不一样?

209 天前
 rossroma
最近打算利用 gpt 的能力开发一个翻译插件,于是在 coze 上进行调试,聊天窗口的回答就是我预期的样子。
https://imgur.com/oKs2McL.png

但是同样的问题,通过 API 调用的话,回答的结果却变了。这是什么原因?我用国内的 kimi ,也是 API 的答案有问题。
https://imgur.com/ScQZGQt.png
1853 次点击
所在节点    程序员
13 条回复
seers
209 天前
有时候窗口会有隐藏参数,提示词之类的
cheng6563
209 天前
默认提示词不同呗,然后温度也可能不同。
hnliuzesen
209 天前
还可能是聊天用的模型和 API 的模型版本不一样
fusi
209 天前
你同一个问题,分两个会话问,响应的结果也有可能出现差异,毕竟这是生成,没有固定的谜底
Subfire
209 天前
如果回答一样才奇了怪了, 追求幂等?
rossroma
209 天前
@hnliuzesen 我是用的相同的 bot 去调试的,Prompt 也是我自己写的,理论上应该一致才对。
hnliuzesen
209 天前
@rossroma 我没有用过 coze ,你的 bot 在搭建的时候能设置调用 OpenAI 接口的 temperature 与 top_p 参数么?这两个参数会影响响应结果的随机性。如果不能设置走的是默认值的话,每次回答都是不一样的。
也不排除有可能在网页上提问,和使用 API 提问,最终发到 OpenAI 接口的参数有差异。
clintme
209 天前
只有 temperature 值设置为 0 才每次给出同样的结果
pikachu233
209 天前
你去看看 gpt 的开发文档,参数可比你想象的多,如果模型一样回答不一致的话,一定是参数不一样
z1829909
209 天前
system prompt 不一样, 可以看成网页其实也是调 api 的, 但是网页被设计了自己的参数
rossroma
209 天前
这是 coze 小助手给的回答:
Coze 平台确保了您在聊天窗口和 API 调用之间的结果应该是相同的。如果您发现有差异,可能是由于以下几个原因:
1. Context:聊天窗口中的上下文(如前一个问题的回答和 bot 的状态)在 API 调用中可能没有。
2. Settings:API 调用可能有不同的参数。
3. 更新:如果您在测试 bot 之后更改了 bot ,可能需要重新发布才能在 API 调用中看到更改。
我建议您检查上述可能的因素,查明情况。如果问题依然存在,您可以查阅我们的 Coze 官方文档获取更多信息,或者在我们的官方社区( Discord: https://discord.gg/xDQKpAKEFX, Telegram: https://t.me/+m7bX9D4WjV4yMzgx )上寻求帮助。

这 3 个问题我都排查过了
owen21
206 天前
为全一样的话,prompt 就不可咒语了。。。 目前来说,这玩意就非程序化,一样的输入得不到一致的结果,如果结果总是一样,那就叫程序,不叫 AI.
dcrdw
204 天前
api 有个参数叫 send ,这个决定了每次一样的对话回复内容的相似度

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1036399

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX