ChatGPT 其实是通用人工智能的对立面

[swhhaa]

有一种观点认为 人脑是大量神经元组成的神经网络，经过上百万年遗传进化(类似深度学习中的训练)，智力也累计量变而质变，终于实现了所谓的智能。

但我觉得如果把神经网络的训练比作人类基因的遗传进化，那神经网络就缺少人类真正学习的过程。 比如，人类学会写代码并不是遗传出来的，而是通过接受自然语言形式的知识习得写代码的功能。 我更倾向把神经网络的训练比作个人的学习过程而不是遗传进化。人类遗传进化类似神经网络的一些超参数，例如层深，层的结构..。

那么对于 ChatGPT ，很明显。它的学习只能是,在代码层接受大量数据来调参。并不能通过它向人类提供的接口而学习。你当然可以对 ChatGPT 告诉它说 "Hi, 从今天起你叫小白，我将用小白来称呼你。"，它也会短暂的记住“小白“是它的名字，但它只是在将 "Hi, 从今天起你叫小白，我将用小白来称呼你。"这句话添加到了输入中，根据输入计算输出来回答你。

你不能像教一个姗姗学步的孩子一样，从 1+1=2 一直教到微积分。ChatGPT 没有长期存储模块，当然这只是一方面，其实这也解释了为什么 ChatGPT 只接受 4096 个 Token 。

我想定义一个新名词“智力”，智力是结构的体现，而不是功能的象征，其中结构是功能的元数据，不随功能而改变。智力则决定了功能的上限，也决定了学习的效率。简单来说，人的智力并不会随着学会新知识而提高。对于同一个人，刚出生的婴儿和大学教授的智力是相同的。类比到深度学习，神经网络的智力在网络结构确定时也已确定，调参只增加它的功能而不是智力。所以人类遗传进化增长的是智力，因为大脑结构已经改变了。神经网络的训练增长的是功能。

说会通用人工智能。我理想中的通用人工智能首先应该是一个单机的结构，一个人的智力并不依靠互联网。第二通用人工智能要对外暴露学习接口，自然语言形式是最好的，视觉，听觉都可以，甚至神经网络的调参接口也可以。而 ChatGPT 并没有这样的接口。(所以可以本地跑的 LLM 模型是通用人工智能吗？理论上是的，但它的智力十分低下，你教会一个孩子 1+1=2 ，只需要对他用自然语言说出来就可以，但你教会一个从零开始的 LLM ，不知道要用多少数据，训练多长时间。这就是智力决定学习的效率。)

所以一个通用人工智能可以不会写代码，不知道 1+1=2 ，甚至连自己的名字都不知道。但我不介意从零开始指导她(只要她的智力足够高)。而 ChatGPT 正在走一条相反的道路，首先利用海量的计算能力和整个互联网的数据训练一个通晓天地万物的智能机器，但你却没法指导它成为你自己的模样，它属于 OpenAI 却不是你自己。

最后我并不质疑 ChatGPT 的价值，无论商业还是科研方面，ChatGPT 都已经成功证明了自己。我只是觉得世上不应该只有 xxGPT ，通用人工智能的道路满是荆棘，但光辉却洒满大地。希望通用人工智能早日实现。

一个 AI 小白的碎碎念。(前进提要:https://www.v2ex.com/t/893146)

[jfdnet]

你这寥寥数语 既不可能说清楚 chatgpt ，也不可能讲明白所谓人脑（智力）的本质（实际上科学对人脑的认知也非常有限吧）。

“所以一个通用人工智能可以不会写代码，不知道 1+1=2 ，甚至连自己的名字都不知道。但我不介意从零开始指导她(只要她的智力足够高)。而 ChatGPT 正在走一条相反的道路，首先利用海量的计算能力和整个互联网的数据训练一个通晓天地万物的智能机器，但你却没法指导它成为你自己的模样，它属于 OpenAI 却不是你自己。”
这个描述更是谬误，很多年前，AI 训练的方式就已经是让机器去理解 1+1=2 ，而不是记住 1+1=2 。难道你以为 chatgpt 这种，就是把百科全书灌进去而已？那根本不需要所谓的 AI 好么？

[swhhaa]

@jfdnet 我哪里提到 chatgpt 是记住 1+1=2 的吗？我的意思是你没法通过 chatgpt 提供的接口教会它 1+1=2 ，只能通过神经网络的训练。

[ymcj001]

只结果论就行了，我们并不关心它是如何得出结论的过程

[jfdnet]

@swhhaa 你自己做一个 chatgpt 你自己就可以调参训练了。另外 openAI 有一些面向商业的产品，可以给你一定范围的调参训练，就是你理解的“通过 xxx 提供的接口教会它 1+1=2”，你可以买来试试。

[swhhaa]

@jfdnet 是的，但我文中也说了 [所以可以本地跑的 LLM 模型是通用人工智能吗？理论上是的，但它的智力十分低下，你教会一个孩子 1+1=2 ，只需要对他用自然语言说出来就可以，但你教会一个从零开始的 LLM ，不知道要用多少数据，训练多长时间。这就是智力决定学习的效率。]。希望您可以认真读完再发表评论。

[binux]

chatgpt 不行，是因为作为一个服务，它存不了那么多用户的 model ，但是只要你出得起，完全可以让 openai 训练一个你自己的 LLM 。
再或者，当 fine-tunning 成熟了之后，也可能会有本地的 LLM 。

[churchmice]

欲速则不达，出道即巅峰，这是我的评价
最近又试了一下，在专业领域有 60%的内容在瞎说，忽悠小白倒是不错

[hzcer]

应该可以通过类似迁移学习的方式，使得"Hi, 从今天起你叫小白，我将用小白来称呼你。"内化到参数中，但目前受限于存储和算力还达不到吧

[swhhaa]

@binux 是的，但本文重点是 如果存在一种智能，你可以通过自然语言训练她，而不是死板的梯度下降，才算得上理想的人工智能。

[swhhaa]

@churchmice 希望可以指点一下错误的地方，我也想学习学习。

[jfdnet]

@swhhaa 要让一个孩子理解 1+1=2 可不是简单的像你说的用自然语言说一下就可以。算了 跟你也没啥好争的。

[binux]

@swhhaa fine-tunning 又不需要很多训练量，难道不是“通过自然语言训练她，而不是死板的梯度下降”？

[Ricardoo]

显然，博主是人工智能符号主义学派。
在人类能定义出人是如何产生智能，以及智能是什么之前，这些讨论都显得毫无意义。
“而 ChatGPT 正在走一条相反的道路，首先利用海量的计算能力和整个互联网的数据训练一个通晓天地万物的智能机器，但你却没法指导它成为你自己的模样，它属于 OpenAI 却不是你自己。”
人类基因的进化又何尝不是一种利用海量世界数据和上万年时间的预训练呢？

[lhbc]

高中命题作文水平，基本概念都没搞清楚

[WinG]

转一句话：

“有的人天天做测试想证明 ChatGPT 这个不能干那个不能弄，有的人则是一直发掘 ChatGPT 这个也可以那个也可以”

by 微博用户

[swhhaa]

@binux fine-tunning 不是从零开始啊。

@Ricardoo 我没觉得是符号学派啊。人类基因进化如果对比为预训练，人类通过自然语言学习的过程和 ChatGPT 哪部分对应呢？

[yangyaofei]

`一个 AI 小白的碎碎念` 反驳一个东西,至少要先了解那个东西吧

1. '你不能像教一个姗姗学步的孩子一样，从 1+1=2 一直教到微积分` 训练 LLM 模型的阶段不是么? 从这个引申,为何用文本那样训练,如果有足够的(上 T 的)标注文本,你觉得研究人员会不用么.
2. `ChatGPT 没有长期存储模块` 这个说到点子上一点,什么是终身学习,什么是权值遗忘,怎么解决?很多东西不是没有注意到而是现在没有足够好的方法解决
3. `当然这只是一方面，其实这也解释了为什么 ChatGPT 只接受 4096 个 Token 。` 胡说一千零二十四道,赶紧看点实在的东西吧,别让 2 这种确实有用的问题和思考变成鸡屎旁边的蛋糕
4. 什么是通用人工智能, 这本身就是一个问题, 再往本质上说, 难道每个拥有"智能"的人真的拥有"智能"么?还是只是自身几十年所接受信息的镜子? 这一切是注定的化学反应还是真的意志?

少点中二的 BB, 多坐下来看看论文和那种枯燥但是信息熵十足的视频

[binux]

@swhhaa 可是 教一个孩子 1+1=2 并不是从零开始呀，他已经学会 “语言” 了。凭什么 AI 反而要加大难度？

[sakujo]

如果 AI 真的到了你所说的那个阶段，我感觉我真的会害怕了

[zapper]

图 YY 迭代了几百次也只有两分钟生命