1
lzgshsj 2023-05-10 13:33:07 +08:00
呃,不知从何吐槽。。。
假设真的实现可以传 id 的话,那 openai 还要从数据库里调出 id 对应的对话,然后在后端把对话加入上下文中,不还是要算进 token 吗。 目前来看,比较可行的还是用 embedding 的方式压缩提炼上下文来一定程度上保留更长对话。 |
2
iyiluo 2023-05-10 13:38:33 +08:00
和大模型的推算成本有关,上下文越长,推算的成本越大,这部分成本肯定要用户来承担。
|
3
foveal OP @iyiluo 有点好奇,在网页上使用 chatgpt 也是聊天记录越长,每次对话费用越高么(很多人可能习惯一个网页 chat 里面聊很长很长)?
另外我理解推算成本大概是字数的平方? openai 为啥按照字数来收费? gpt4 甚至输入和输出字的成本都不同,纯粹是商业定价还是有成本架构原因? |
4
yushiro 2023-05-10 14:17:33 +08:00 via iPhone
你觉得是架构设计的原因,OpenAI 目前的行为,看上去是用的无状态请求,服务器端处理的时候,不需要知道你是谁,只是根据你的输入进行处理,这样做的好处是省去了很多同步,并发问题。
特别是应对服务器资源自动缩放的时候,完全没影响,否则处理你请求的服务器,还需要去访问中央数据库,拿到你的信息再处理,那瓶颈就是中央数据库了 |
6
yinmin 2023-05-10 15:52:47 +08:00 1
@foveal 网页版与 API 是区别的。网页版有对话 ID(conversation_id)的,每次聊天是传输 conversation_id + 本次提问。
|
7
yinmin 2023-05-10 15:55:52 +08:00 1
@foveal API 没有对话 ID(conversation_id),这个项目 https://github.com/Yidadaa/ChatGPT-Next-Web 使用了压缩以前对话内容减少 token 的技巧,你可以研究参考。
|
9
yinmin 2023-05-11 13:58:07 +08:00
|