ChatGPT 背后的语言模型简史

[bmpidev2019]

文章地址： https://www.bmpi.dev/dev/deep-learning/nlp-language-models/

ChatGPT 的火爆出圈，让大家对 NLP 语言模型的发展历程产生了浓厚的兴趣。本文将从深度学习在 NLP 领域的发展历程，到大语言模型的发展历程，再到大语言模型的未来展望，带你一起了解 NLP 语言模型的发展历史。

[hoopan]

学习了

[fresco]

收藏了

[dacapoday]

"在机器学习的路线中，有一个分支是深度学习（ Deep Learning ），它是一种以神经网络为基础的机器学习方法，它的特点是可以自动学习数据的特征，不需要人工标记数据，这样就可以大大减少人工标记数据的工作量。"
这个描述准确吗？图像的深度学习，不还是需要人工标注 tag

[hoythan]

借楼请教大家一个问题，OPENAI API 连续对话好像是通过 messages 把历史的对话都传过去。这样的 Tokens 计费是怎么计算的？连续对话的 messages 越长越贵吗？还是只计费最后一次对话？还是只计费返回的最新内容？

[bmpidev2019]

@dacapoday 感谢指正，昨天已经修改这段描述，的确存在问题

[bmpidev2019]

@hoythan 当然是全部计费的

[pjxxcc]

@hoythan 看过有人开源的基于 chatgpt 的聊天工具，连续对话传过去的历史对话都是计入 token 的，所以为了降低 token 消费会对历史对话长度做限制，超出限制的部分会被裁剪，所以表现上看就是聊天聊着聊着会发现 chatgpt“忘了”比较早聊过的内容

[evil0harry]

大佬，follow 你的推特了