我自己做了一个公众号,使用的是 ChatGPT 3.5 openAI 接口,为啥延迟有点大。

2023-04-23 10:32:44 +08:00
 caohuihe31

大概 10 秒的延迟吧。请问正常吗?我是付费用户。 有没有方法让 OpenAI 更加快速的响应。

1834 次点击
所在节点    OpenAI
11 条回复
seakey001
2023-04-23 10:38:37 +08:00
quzard
2023-04-23 10:39:36 +08:00
因为没绑卡
caohuihe31
2023-04-23 11:31:26 +08:00
@quzard 绑了卡,还特意设置到上限 500 美元。(默认 120 美元)
caohuihe31
2023-04-23 11:35:27 +08:00
@seakey001 你这个直接调用的 3.5(turbo)接口是的吧,看起来很快。请教下你服务器部署在什么地方的?我的确实很慢,比你这个慢多了
mmdsun
2023-04-23 12:54:38 +08:00
在美国小服务器,速度很快,接口用了 steam 流参数,走 SSE
lxiian
2023-04-23 13:38:33 +08:00
公众号,怕不是直接用 post 请求的。stream 响应才会快,不用 stream 的话,要等回答完毕才返回数据
qiayue
2023-04-23 13:52:06 +08:00
https://github.com/qiayue/php-openai-gpt-stream-chat-api-webui/
用流式请求,并且在第一句返回时,先发给用户,剩下的等全文返回再发给用户。
这样就给用户一个预期,知道你已经在回答中了。
caohuihe31
2023-04-23 20:59:10 +08:00
@mmdsun 感谢分享。不过我的是直接放在公众号里面,使用微信的聊天界面,可能不合适使用 stream.
caohuihe31
2023-04-23 20:59:31 +08:00
@lxiian 是的。难怪比别人慢
cs3230524
2023-04-24 01:15:13 +08:00
@mmdsun sse 是个啥?
mmdsun
2023-04-24 10:40:01 +08:00
@cs3230524 Server-Send Events

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/934701

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX