最近看到挺多 deepseek 的新闻，好奇试了一下。
问了几个问题(英文)同时丢给 ChatGPT 和 deepseek ，发现 deepseek 的结果和 ChatGPT 的极其相似。
内容结构基本上是一摸一样的，就是替换了一些单词。
在网上也看到有人问 deepseek 是什么 model ，它回答是 ChatGPT 的。
对 AI 大模型的技术没什么了解，所以好奇问一下为什么会这样？
 |
1
565656 2 天前
很多模型会使用 gpt 的输出当作训练资料，俗称蒸馏学习
|
|
3
565656 2 天前  1
@fancy2020 #2 OpenAI 肯定不允许，但是 openai 自己的训练资料也不敢明说，自己也是侵权。现在的模型都不值钱，随便开源，唯独训练资料是最宝贵的，比大模型的权重更值钱。
|
 |
4
YooboH 2 天前 1
大家都是摸着 openai 过河，gemini 还有 llama 大概率也蒸馏，算是公开的秘密吧，毕竟说白了就是利用了 chatgpt 的输出结果训练自己的模型，而且也没有任何手段能限制这一点，openai 自己的用户守则在法律上估计很难说有什么约束力
|
 |
5
fancy2020 OP 它这种基于 ChatGPT 的输出结果做训练的方式是否在效果上会有一个上限，比如再怎么优化也不可能超越 ChatGPT?
另外想讨论一下，deepseek 在技术上的创新真的是革命性的吗？ 比如如果它可以用很便宜的成本训练和推理，那么会不会对 Nvidia 的估值造成影响（因为不需要那么多的 GPU 了）? |
 |
6
Azmeont 2 天前 1
|
 |
7
kokutou 2 天前 via Android
总会有些新数据的 提升有 但是慢而且不大
|
|
8
YooboH 2 天前 2
@fancy2020 训练效果很难说。不可能单纯只用来自 openai 的数据，大模型首先是预训练，用整个互联网的数据训练基座，然后是指令微调以及 rlhf ，这其中每个过程都需要大量的数据处理和清洗，一般来说微调或者 rlhf 阶段可能会用 openai 或者其他家的模型输出来监督，但也都会有自己处理的数据，每家的真实训练数据都是保密的，所以到底什么样没人能说得清。
deepseek 更多是工程方面做的比较好吧，理论方面好像没什么突破，他能做到意味着别家也能。现在最大的问题是 llm 快到头了，互联网的数据能用的全都用过了，剩下顶多是对现有数据再精细清洗一轮，后续不知道还能不能再有突破。 |
Select Language