感觉这种 GPT 这种语言技术虽然不知道什么原理，但真是太强大太降维打击了。。

[James369]

去年我还在想学习一下“编译原理 /编译器”技术，来尝试实现编程语言代码的自由转换。现在想想真的太幸运自己没有花时间在上面，那真是太浪费时间了，还好没碰。

现在 chatgpt 技术太牛逼了，随便贴一段代码，都能给你转换出来，甚至汇编语言都可以，还把注释的明明白白。

虽然搞不清楚深度学习是什么原理搞定的，但毋庸置疑 gpt 是懂编译原理的，毕竟它也属于自然语言。

唉，可怕。。

[fox0001]

编译原理，是大学本科的计算机专业课程的必修课。没碰上，我觉得不是“幸运”。如果啥都不去弄懂，很容易被 AI 淘汰。

另外“gpt 是懂编译原理的，毕竟它也属于自然语言”，这句话我看不懂。

[James369]

@fox0001 这句话我是这么理解的，GPT 是自然语言处理模型，而编译原理解决的是计算机语言问题，而计算机语言是更有规则的自然语言。所以，GPT 可以解决编译原理所解决的问题。

[poyanhu]

GPT 有时候，也会一本正经地胡说八道。

[cmdOptionKana]

用计算机可以计算得很快，但是你还是要学数学，你的数学知识丰富了，触类旁通能解决很多问题。编译原理也一样，有没有这个基础知识，写程序时的思维层次就不一样，“AI 能做” 与 “你自己具备知识” 不矛盾，也不能简单替代。

[James369]

另外，AI 的崛起也从某些方面降低了算法的门槛，很多传统算法都被机器学习干趴下了，传统算法结果和精度也没有 AI 那么好。
你甚至可以不需要知道很多传统算法基础。比如搞视觉的，你可以不需要知道太多原理，如色彩 /频谱 /变换 /滤波等等，就可以开始用数据训练了。

[fox0001]

@James369 #2 把“计算机语言”定义为“自然语言”的一个子集，我表示不理解。一般会认为是两个东西，都是“语言”的子集。

我明白你的意思。只是大家交流时，会以统一的知识去交流，避免歧义，并且更高效。这是“学习”和“知识”的其中一个作用吧。

[xabcstack]

原来就是复杂一点的字符串匹配

[liveoppo]

可能 GPT 并不懂编译原理，甚至不懂 1+1=2
只是因为喂给它的数据里面 1+1 后面总是跟一个 2 ，所以它就在 1+1 后面放一个 2 给你
我看过一个 GPT 原理的视频，我目前的肤浅理解是这样

[jackge0323]

只是提高了程序员的工作效率，他写的东西你看不懂，啥都是白搭。

[aotuman233]

计算机语言是牛魔的自然语言子集

[yuzo555]

人类弄明白大脑会产生意识的原理了吗？也没有。

但人类发现神经网络节点堆得越多，到一定程度就会发生质变。

个人理解：我相信计算机模拟的神经网络堆到一定程度，也会产生质变，产生思维，甚至产生意识。

[leimao]

https://leimao.github.io/article/OpenAI-GPT-Models/

[Ocean810975]

https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/
可以看一下这个文章，讲了 LLM 的原理。

[ccxxjjjjjj]

上周刚听完几场语言和多模态大模型的讲座，这个博客中提到的几篇文章都是 GPT 技术发展的典型作品，正好看您推荐的博客巩固一下。

我自己的一些粗浅的见解，GPT 类模型大家称为“prompt”类模型。当 GPT-2 投喂了足够多的数据后，你给模型一个“prompt”，它可以自动给你接上回答。从 GPT-2 开始，基于这项技术的 tabnine 这类工具便开始流行开来。

如何设计一个“prompt”甚至也成为一项重要的工作。好的 prompt 可以导向你想要的答案。从 GPT-2 到 GPT-3 甚至现在 GPT-4 ，更多更好的数据，设计更规范的“prompt”都给这类模型带来了质的变化。当然，你也见过设计“好”的 prompt 可以让 GPT 越狱，产生 openai 不允许的暴力、恐怖和儿童色情答案。

因此它可能真的不懂如何如何将 A 语言转换为 B 语言。但他懂你的“prompt”，即有人曾经这样实现过“这个功能函数是将 A 语言转换为 B 语言”。它知道你要干什么，并且在见过足够多的样本后具有了这样的能力。

当然缺点就是，这类语言模型不是基于像正则匹配 / 语言范式 那样人为设计的规范训练的，因此结果可能是不可控制的。真实性和偏见性很多时候也无法调整，只能借助于更好的数据 + 更完善的微调来控制。

[ccxxjjjjjj]

话说回来，最近两个月 openai 和 Google 以及 meta 又去卷多模态的大模型(视觉+语言)去了。虽然还没有见过现象级产品，但是论文都发出来了。

[laqow]

你和它说“你给的数据是错误的”，它会说对不起然后跟你另外编一个

[takato]

以后 A.I 如果会跟你插科打诨就需要补基础了。现在其实么，有些东西我们不知道的话，其实很难问出来真正有价值的内容的，然而基础知识更适合结构性地查找。

[greygoo]

有了 chatgpt ，现在也不需要很多人学那么底层了

[wsseo]

怎么辨别是不是在胡说八道？

[autoxbc]

@liveoppo #8 我看过的视频里说，神经网络是对真实世界的映射，当喂给他一些数学运算后，最终他懂的是数学。在这个意义上，GPT 是懂编译原理的