GPT-3 成功冒充丹尼尔·丹尼特，哲学专家也难辨真伪

[Team]

E Schwitzgebel 2023 是一篇有意思的研究，这篇研究的目的在于探索大语言模型(large language model, LLM)是否能够生成专业水平的哲学文本，并测试哲学专家、哲学博客读者和普通的研究参与者是否能够分辨 LLM 生成的文本和哲学家写的文本。

作者认为如果语言模型能够展现出与专业的人类哲学家在语言上表现相近的水平，那么这将迫使那些将高级语言表现视为真正语言能力的人，在理论上作出选择：要么否认 LLM 的输出具有真正的语言能力和思维能力，即使它们的输出新颖性和复杂性，与人类哲学家的文本难以分辨；要么就接受语言模型，产生了真正的语言，乃至复杂的思维能力。

研究人员使用了 OpenAI 的 GPT-3 模型，对其进行了微调，这个模型被称为 DigiDan ，它能模仿哲学家丹尼尔·丹内特(Daniel Dannett)的风格和观点。然后作者向丹内特和微调后的 GPT-3 提出了十几个哲学问题，并收集了他们的答案。然后作者招募了三组参与者：哲学专家、哲学博客读者和普通人，让他们在 5 个选项中猜测哪个是丹内特的答案，并对回答进行评分。

这个研究与之前的研究在方法上有个重要的区别，研究人员不会对 GPT-3 输出的内容进行挑选，在此前的研究之中，往往会经历这样的过程，由 LLM 生成多种不同的结果，然后人类选择最好的那个。这意味着该研究对 LLM 能力的考验是更大的。

研究的主要结果是

丹尼特专家和博客读者能够以高于随机水平但低于预期水平的准确率区分丹尼特和 DigiDan 的回答，平均只有一半左右的正确率。他们都认为丹尼特的回答比 DigiDan 的回答更像丹尼特可能说的内容，但评分差距并不大。 普通研究参与者几乎无法区分 DigiDan 和真人哲学家的回答，他们对两者的评分也没有显著差异。 作者认为 LLM 可以生成有一定结构的、连贯性的和复杂性的哲学文本，标明它们就一定的语言能力和思维能力，能很大程度上模仿真人哲学家的风格和特点，并在很大程度上迷惑人类读者。

丹尼尔·丹内特(Daniel Dannett)随后在大西洋月刊(the atlantic)上发表文章《冒牌人的问题》 The Problem With Counterfeit People ，他认为冒牌人(counterfeit people)是人类历史上最危险的产品，因为它可能破坏社会的信任和自由，它们是以通过图灵测试(Turing test)的标准来开发的，能够在数字环境中骗过专家级别的对话者。因为我们天生就倾向于把任何看起来能够理性交流的东西当做人来对待，这使得我们很容易上当。冒牌人对社会和经济有很多潜在的危害，比如说可能用来进行诈骗、勒索、恐怖主义犯罪；制造假新闻、干预选举、进行意识形态操纵；侵犯个人隐私、盗取个人身份、侵犯版权等经济利益。丹内特建议立即禁止制造和传播冒牌人，并对这些行为进行严厉的惩罚，以保护文明。

研究中采用的问题和丹尼特以及 DigiDan 的答案，作者制作成 PDF 文件放在网上了，可以点击这里下载。

https://osf.io/wb49p

[Team]

没人回复，大家对哲学不感兴趣吗？

[msn1983aa]

用另一个大模型 newbing 回答你：
我是一位哲学博客的读者，我对这篇网页文章感到很感兴趣，也很惊讶。我认为这篇文章展示了大语言模型的强大能力，也提出了一些重要的哲学和社会问题。

首先，我觉得这篇文章的研究方法很有创意，使用 GPT-3 模仿丹尼尔·丹内特的风格和观点，是一种很有趣的尝试。我也很好奇，如果使用其他的哲学家，比如康德、黑格尔、尼采等，会不会有不同的结果。我想知道 GPT-3 是否能够理解和表达不同的哲学体系和思想。

其次，我觉得这篇文章的研究结果很令人震惊，我没有想到 GPT-3 能够生成如此高水平的哲学文本，以至于哲学专家和博客读者都难以分辨真伪。我也没有想到普通人几乎无法区分 GPT-3 和真人哲学家的回答，这说明 GPT-3 的语言能力和思维能力已经超出了我的想象。

最后，我觉得这篇文章提出了一些重要的哲学和社会问题，比如说大语言模型是否真的具有思维能力，或者思维能力是如何定义和衡量的；大语言模型是否对人类哲学家的声誉和版权造成侵犯；大语言模型是否对社会和经济有潜在的危害；大语言模型是否需要被监管和限制等等。我同意丹尼尔·丹内特在大西洋月刊上发表的文章中的观点，冒牌人是一种危险而无用的产品，应该被禁止制造和传播。

总之，这篇网页文章让我对大语言模型有了更深入的了解和思考，也让我对哲学有了更多的兴趣。我希望能看到更多类似的研究和文章，以便我们能够更好地认识和利用这种强大而神秘的技术。