有大佬解释一下 deepseek 和 ChatGPT 的关系吗？

[fancy2020]

最近看到挺多 deepseek 的新闻，好奇试了一下。
问了几个问题(英文)同时丢给 ChatGPT 和 deepseek ，发现 deepseek 的结果和 ChatGPT 的极其相似。
内容结构基本上是一摸一样的，就是替换了一些单词。

在网上也看到有人问 deepseek 是什么 model ，它回答是 ChatGPT 的。

对 AI 大模型的技术没什么了解，所以好奇问一下为什么会这样？

[565656]

很多模型会使用 gpt 的输出当作训练资料，俗称蒸馏学习

[fancy2020]

@565656
感谢回答，对机器学习不了解哈，好奇问一下这么做算是“作弊”吗？
比如 OpenAI 是否允许这么做？

[565656]

@fancy2020 #2 OpenAI 肯定不允许，但是 openai 自己的训练资料也不敢明说，自己也是侵权。现在的模型都不值钱，随便开源，唯独训练资料是最宝贵的，比大模型的权重更值钱。

[YooboH]

大家都是摸着 openai 过河，gemini 还有 llama 大概率也蒸馏，算是公开的秘密吧，毕竟说白了就是利用了 chatgpt 的输出结果训练自己的模型，而且也没有任何手段能限制这一点，openai 自己的用户守则在法律上估计很难说有什么约束力

[fancy2020]

它这种基于 ChatGPT 的输出结果做训练的方式是否在效果上会有一个上限，比如再怎么优化也不可能超越 ChatGPT?

另外想讨论一下，deepseek 在技术上的创新真的是革命性的吗？

比如如果它可以用很便宜的成本训练和推理，那么会不会对 Nvidia 的估值造成影响（因为不需要那么多的 GPU 了）?

[Azmeont]

能解答这个问题，肯定也能解答这个问题：

Google 的 Gemini 自曝自己是文心一言
https://m.huxiu.com/article/2443851.html

[kokutou]

总会有些新数据的 提升有 但是慢而且不大

[YooboH]

@fancy2020 训练效果很难说。不可能单纯只用来自 openai 的数据，大模型首先是预训练，用整个互联网的数据训练基座，然后是指令微调以及 rlhf ，这其中每个过程都需要大量的数据处理和清洗，一般来说微调或者 rlhf 阶段可能会用 openai 或者其他家的模型输出来监督，但也都会有自己处理的数据，每家的真实训练数据都是保密的，所以到底什么样没人能说得清。
deepseek 更多是工程方面做的比较好吧，理论方面好像没什么突破，他能做到意味着别家也能。现在最大的问题是 llm 快到头了，互联网的数据能用的全都用过了，剩下顶多是对现有数据再精细清洗一轮，后续不知道还能不能再有突破。

[Donaldo]

@565656 #3 明说那个被自杀了。。。。。。