我们真的需要担心人工智能吗？

[sillydaddy]

很多科幻电影，都在渲染未来可怕的人工智能的场景：SkyNet 觉醒了，有了意识，要消灭人类。。车轮碾过💀💀💀咔咔咔。。

顺着这点我思考了一下，发现其实「自我意识」在上面的情景假设中，是一个很关键但又被一笔带过，导致很模糊的点：这个点就是，有了「自我意识」的机器，为何要消灭人类呢？

假设意识没有高等低等之分，而只有「有无」的区别，那么机器的自我意识与人类的自我意识，算是同层级的，按道理，人类能意识到的东西，机器也能意识到，反之亦然。我们假设那些机器的智能程度比人类更高，可是，它们能够意识到人类社会的抽象概念吗？比如语言、爱、恨、差异、竞争、合作。假如能意识到的话，很难想象它们为何只是一心要消灭人类，到底是什么驱动它们这么做呢？

假设意识分为不同的层级，比如电影「阿凡达」里面一个超越物种个体的 Ava 意识体；或者简单点，假设我们人体内的每个细胞都有自我意识。。那么这就更难说得上消灭了吧，因为本就不在一个层级。如果人类无法意识到更高等的意识存在，那么人类只会把更高等意识导致的现象，称作「自然规律」。是吧？

当然，如果是没有「自我意识」的智能体，那对人类的威胁就是另一回事了。不过我对这样的智能体的智能持怀疑态度。

[ansonsiva]

大部分影片不都有说为什么 ai 要消灭人类的嘛，看片不仔细啊

因为大部分影片里 ai 进化到最后认为人类才是地球的毒瘤与癌症，破坏环境，互相残杀，所以灭了人类可以更好的可持续发展，所以就。。。

[sillydaddy]

@ansonsiva
人类：请给俺们一个机会。

[lyuxiuchen]

目前不用担心像电影里那样的人工智能，
不过在爆两三次科技树就不一定了。

[hidemyself]

我对智能体能产生自我意识持怀疑态度。
我估计近一百年，不可能会有 “有意识的”AI

[Jim142857]

目前所谓的人工智能都只不过是 information processing machine 而已，离有自我意识和理解力的 strong AI 差距无限大呢

[qrobot]

你想象你把权利给人工智能， 比如吧健康码给人工智能，不小心给你判断为红色了，然后告诉你无权干预，你感觉会怎么样？

[pC0oc4EbCSsJUy4W]

@qrobot 说得人工不能给你改一样

[permaylau]

楼主的问题很有道理，蚊子和金鱼，广义上也有“意识”，但他们的意识很简单，没有善恶对错之分。或者说，目前，海豚和大象的大脑意识也没有上升到这一点。大象的智商相当于 13 岁人类孩童的智商，所以科幻片的人工智能 AI 是极其极端情况下，本职上，是西方人对其它民族比如”伊斯兰穆斯林”的内心恐怖的投射的人工智能 AI 上了。我不觉得人类能够通过机器复刻百分之百人类的大脑功能。

[westoy]

怎么确定 BUG 不会出现意外? 癌细胞分裂也不是为了消灭人类啊

怎么确定创造和控制 AI 的不会故意留后门以及规律， 然后通过这个来套利? 人对自己自私的一点就是认为别人不自私、不会自私以及不应该自私

[xz410236056]

01110011 01101001 01110010 00101100 01110100 01101000 01101001 01110011 00100000 01110111 01100001 01111001

[7RTDKSAK]

某一部美剧里看过利用智能家居杀 /人的桥段,门窗锁死,电话网络切断,空调温度降到底,等死吧

[7RTDKSAK]

看见网图,自如要求挨家挨户上门装智能门锁,和公 /安和房\管系统联网,流弊

[kop1989smurf]

过去的人工智能是脚本，策略式的，只能应答。
现在的人工智能是统计学，寻求最优解的，能够通过不停的迭代和统计帮人类寻找可量化范围的最佳途径。

如果人工智能领域没有再次进化的话，最起码不需要担心类似“天网”的情况。
但这并不意味着目前的人工智能对人类没有危险。

目前的学习模型，已经复杂到是不可预见且不可审视的，黑盒的。我们只能通过输入、输出来验证模型的可靠性，并不能穷举其模型的所有输出。这就导致模型的 100%可靠（或者说对人无害）不可证明。

举个例子，比如会不会存在一种精心设计的 bug 图像，往特斯拉车前一放，就会导致特斯拉的 ap 模型判断失误，油门或者刹车踩到底,从而出现事故。
再举个例子，会不会出现某种特殊的棋形，导致 Alpha-go 的模型认为在棋盘上摆一个“CNM”是最优解？

这都是不可证伪的。

[vazo]

三个 ai 没水吃 dog.jpg

[xingyuc]

目前来看更需要担心“人”

[kop1989smurf]

再比如，google 翻译和 deepl 翻译都被人“投毒”过，这就是目前的机器学习式 AI 最大的弱点：你不管怎么规避，在自我迭代的过程中模型依然会失真和过拟合。而且是无法预见的。

[novolunt]

杞人忧天
先保证你 50 年后还活着吧

[v2tudnew]

你说的那不是人工智能，那是神，公平公正无私欲能力又强大。我相信有星际文明能造出这种存在，但更可能地球文明还没成功就因为某些 BUG 导致人类重启。

如果它能完整感受到人类的情绪，那它也只是个人，只是躯壳不一样罢了，人类想做的事情它也会做，否则大家直接意识传机械上不就全民成神了（真-人工智能）？

[jenlors]

除非搞清楚人的意识是怎么出现的，不然我觉得人工智能不可能会出现自我意识

[edinina]

有生之年见不到了也不要担心，真正需要担心的事儿还多着呢