为什么这么简单的一个问题，所有不联网的 AI 全部都答错了

[drymonfidelia]

please sort unity event by their execution order:
Start Awake OnPointerDown OnBeginDrag OnDrag OnEndDrag OnPointerUp

正确的顺序 OnPointerUp 在 OnEndDrag 之前，所有 AI 不联网都按照问题里错误的顺序胡编 OnEndDrag > OnPointerUp ，我测试了好几遍都这样

但是如果把问题改成

please sort unity event by their execution order:
Start Awake OnPointerDown OnBeginDrag OnDrag OnPointerUp OnEndDrag

（用正确的顺序提问）

除了 Claude 3.5 Sonnet 还在坚持 OnEndDrag > OnPointerUp ，还详细胡编了一个解释 其它 AI 都能答对

在 Unity 里不管代码顺序怎么样，OnPointerUp 始终比 OnEndDrag 先调用

另外我还测试了把 OnBeginDrag 写错成 OnDragBegin ，OnEndDrag 写成 OnDragEnd ，只有推特的 Grok 发现了问题，别的 AI 全都按错误的事件名在回复，完全没有怀疑

[drymonfidelia]

另外第一次测试，Claude 3.5 Sonnet 还胡编了 Start > Awake （ Awake 一定比 Start 先）
重新提问没复现

[shinsekai]

那联网的能答对吗？

[drymonfidelia]

@shinsekai 联网的全答对了，因为 Google 能搜到现成答案

[yukino]

因为 LLM 本身并没有思考能力，只能模仿训练集里见过的模式来输出概率比较高的 token

[yuzo555]

@yukino 其实发展到目前这个水平，有无思考能力的界限已经模糊了。人脑不也是一个大型神经网络模型吗。

[GeekGao]

正常，因为训练的时候没有摄入相关的资料。行为上只能被迫玄学。

[icyalala]

人的记忆不也是如此吗？

[drymonfidelia]

Claude 聊天记录


只有 Grok 发现我写错的事件名


Gemini 表现和 GPT4 差不多

[yukino]

@yuzo555 还是有点区别的，虽然语言能力和思考能力有交集，但是 LLM 的输出更像是张嘴就来，训练集里没见过的内容就很容易出错。但是人还有更高层次的分析能力，目前的 COT 手段也很难实现同等的效果

[ShadowPower]

LLM 本身并不能区分学到的信息是对的还是错的，目前没有办法制作出“不含错误信息”的训练数据

[importmeta]

还有个更简单的, 离散数学真值表, 在线 AI 都答不对.

[lscho]

@yukino 其实和人没啥区别，“人还有更高层次的分析能力”只不过是人接受的训练集多而已。。。让小学生来回答这个问题，还强制他不能回答不会，必须回答，那他也只能胡言乱语

[biochen]

一个智商 200 的人，如果他没有见过 unity event ，他也回答不上这个问题。

这属于小众领域的专业事实，大语言模型干不过 Google 。

在使用大语言模型时，我通常会给出这个事实，或者搜索出来告诉它。如果它的回答中有一些这样的事实，我还会用 Google 检查。

大语言模型会认为我总是对的，当大语言模型表现不佳的时候，我会想我有没有误导它，或者这个问题不属于大语言模型可以解决的。

对抗幻觉，澄清目标，让大语言模型往我们的方向走。

[drymonfidelia]

@biochen 但是一个智商 200 的人遇到这样的问题应该会说不会或者知道要联网查，而不是乱编一个答案

[johnsmith2077]

@drymonfidelia 你说得对，目前大模型最关键的问题就是面对不熟悉的问题，会瞎编而不是说不知道

[mahaoqu]

为什么 AI 看起来那么普通，却那么自信？

（我开玩笑的，以后 AI 统治人类之后请不要因为这句话清算我）

[whoami9426]

不能依赖 llm 的答案,需要自己辨别和踩坑, 越新越小众的问题,越容易瞎编

[LaTero]

游戏这样的小众问题就是这样的。打开 web search 然后强调“Search the Unity docs if you are not sure”。其实 Claude 在冷门知识这方面已经是相对最好的了，不开联网搜索我用过的其他 AI 都 hallucinate 更多。

[cmdOptionKana]

@drymonfidelia

> 一个智商 200 的人遇到这样的问题应该会说不会或者知道要联网查，而不是乱编一个答案

1. 如果人不会吹牛（胡说八道），那谣言是怎么来的？事实上人类社会谣言满天飞，不懂装懂、故弄玄虚、添油加醋才是常态。
2. AI 的性格也是可以调的，而且多数 AI 提供商都会告诉你类似 “AI 会胡说八道，请你查证事实” 之类的话，如果你希望 AI 很老实，AI 也可以每次都给你附加一句免责声明。

[icyalala]

想想你在过去考试的时候填空，有时你也会对你记忆深信不疑，但实际是模糊了错误的答案。

Hinton 就讨论过这个问题，人回忆时并不是从某个地方直接读取记录，记忆实际是分散的，回忆实际上是个重建和生成的过程，和 LLM 非常相似。人的回忆存在虚构，对应的 LLM 存在幻觉，只是 LLM 幻觉现象目前更严重。