ChatGPT 模型能被人理解吗？

[frankyzf]

不了解机器学习，只是好奇，训练出来的模型（不是指训练过程或喂的数据）能被创造他的团队或者其他人理解吗？感觉和之前发明的东西不太一样，之前发明的东西再复杂也是可被人类理解的。如果 ChatDPT 的模型不能被理解，还算是人类发明的工具吗？请各位大神解惑。

[SuperMild]

暂时还是能理解的，未来很可能会发展到不能理解的程度。

比如围棋 AI ，刚开始战胜人类时，很多人都说 AI 的下的棋很难懂，需要九段高手仔细分析才能理解一点点，然后渐渐地就变成了人类努力去理解 AI 下的棋，从而提高人类对围棋的理解。

从某种意义上，可以说现在 AI 对围棋的理解比人类好很多。

但人类至少可以理解 AI 的目的，它的目标，它想在游戏规则内胜出，这个还是很好理解的。

未来 AI 会发展到，就连它的目的我们都无法理解，它想干什么，它表面呈现出来的是它的真实目的，还是它在伪装、在欺骗？以后我们将无法分别 AI 是否在撒谎。

[lambdaq]

> 训练出来的模型（不是指训练过程或喂的数据）能被创造他的团队或者其他人理解吗

不能。175B 个参数，意思就是有 1750,0000,0000 个 FP16 浮点数。你想怎么理解？

另外 openai 的字符是转换后的。https://platform.openai.com/tokenizer 这里可以看下它是怎么识别人类的字符的。

[Peek]

计算机跑的汇编很多程序员都看不懂，更别说机器语言 0 和 1 了，全世界都没人能理解，人类不是照样在用电脑和手机，不太理解你的理解指的是什么

[zooo]

不能！

[autoxbc]

@Peek #3 没那么简单，这是个重要的科学伦理问题

如果 AI 决定切去病人 1/2 的肝脏，理由是虽然现在没有任何可见病变，但是读取病人全部 DNA 后认为有 80% 可能性在 5 年内癌变，那么这个结果的可理解性就很重要了

甚至，以后可能由 AI 来决定是否发射核弹，因为他在 10 秒钟内通过遍布全球的传感器检测到威胁，决断时间窗口为 2 分钟，那么这个可理解性又更重要了

[dizzylight]

如果 100%控制等于"理解"的话 估摸开发人员对 chatgpt 的掌握程度大概 30%-50%

[yangyaofei]

这个东西没有想象的那么智能, 仅仅是一个能够根据上文进行文字输出的语言模型, 是捏出来的一个样子, 很像是真的但迄今为止还只是捏出来的.

建议看看李宏毅的视频, 那个视频应该大部分人都能看懂

[AnsonUTF8]

OP 想说的是不是可解释性啊？这个是一个很重要的研究领域，目前的 chatGPT 为代表的 LLM 的可解释性是不足的。另一方面，如果单纯从模型结构和训练过程等角度来看，为什么他的效果会这么好，这些以前人的工作为基石的作品，是有很大的经验知识的，可以说从业者是理解他的性能为何如此优异的，但是如果要从数学等形式化的角度去看，我想业内对其的理解还是不充分的。

[frankyzf]

谢谢各位的回答，只是看到这个模型比较火，好奇这个模型的边界。和 @yangyaofei 说的一样，现在只是语言模型，看起来只能汇总文章的要点，给出一些代码示例，还不能理解现实世界中事物的含义，更不会了解人的思想。但会不会出现另一个只有 AI 才能理解的世界（比如清朝时西方世界对于大清），如果会，这两个世界将会是如何相互作用的（我们的世界会不会就像大清一样过时）？ @AnsonUTF8 如果只是根据经验，会不会和其他经验科学一样（比如中医），经过很长时间才发现有副作用（甚至是致命的副作用）？

[AnsonUTF8]

@frankyzf 副作用的问题我无法回答，（甚至中医的副作用这个问题也不太能回答 = =），你真的很感兴趣的话，我很乐意给你提供你几个关键词去深入了解一下 GPT 发展的脉络，这样可能会有一定的认识。按照时间顺序应该是：word2vec, ELMo, BERT, GPT2, T5, GPT3, Instruct-GPT 。除此之外还有 pre-training, fine-tuning, prompt-tuning, in-context learning 。

[israinbow]

https://arxiv.org/abs/2005.14165

人应该理解的是原理而不是训练好的黑盒。

[frankyzf]

@israinbow 谢谢。方便举个其他类似的例子吗？

[frankyzf]

我指的例子是人类发明的东西里，在懂原理但不理解结果的情况下，还能保证结果和理解的原理差别不是太大。