lookStupiToForce
2023-02-09 11:05:10 +08:00
大多数不关注相关[英文]领域的人，以及只用 [中文思维] 对话 chatGPT 的人，是像 OP 这样的。
当然现在这样的人越来越少了，都在用外界的新进展来更新调整自己的认知。
回到正题，知乎上的相关讨论仍然比这儿质量要好，起点要高，且见解足够深刻。而不是有 OP 这样的自视甚高者带头撒泼打滚。
（这点上算是形式和内容相符相成，帖子毕竟天然不适合长篇大论，更适合简单事件议论和情绪输出共鸣）
以下所有引用都更建议回到原文阅读，比我在这儿小学生读书式断章取义要强得多
##################################################################
Q：AIGC 概念股股价开年大涨，AIGC 究竟能产生多少经济价值？ ChatGPT 的商业化路径如何实现？
www[.]zhihu[.]com/question/581754585/answer/2882384195
"""
ChatGPT 的能力，体现在推理、归纳、多轮对话以及对整个世界的认知上，而这些能力的发挥前提，就是一个数量足够大、质量足够高的自然语言数据库，ChatGPT 是建立在 OpenAI 可以在全网抓取庞大数据基础上；而中文世界的文本数据，知乎有天然数据优势。（这可能也就是为什么我的体验是在 ChatGPT 上提供的中文内容，质量远远低于英文内容。
"""
评论：此段提到了 ChatGTP 的推理、归纳、情境理解能力，以及自然语言数据库丰富程度的重要性，间接回答英文质量比中文质量要高。并引出问题——
统计学机器可以诞生出推理、归纳的能力么？
Q：如何评价 OpenAI 的超级对话模型 ChatGPT ？
www [.] zhihu [.] com/question/570189639/answer/2787763735
"""
近期在写 paper 时重读 GPT-3 ，才发现自己之前一直都没有真正理解 in-context learning 的含义，而只是表面的认为其就是不 fine-tune 而冻住主要的模型参数，也从而大大低估了 in-context learning 的能力。在 NLP 领域，或许这个 in-context 的能力是 auto-regressive LLM scale 到比较大之后的 emergent property ，但视觉任务因为不同任务输出空间差异很大，所以如何在视觉领域进行 in-context learning 一直都是个悬而未决的问题，也有很多工作试图将不同任务统一到一个输出空间（ pix2seq 、unified-io 、uvim 等），但都未窥 visual in-context learning 的门径：即需要将任务输入和输出一起 concat 起来输入到模型中，而非传统的图像作为输入、任务输出作为模型输出。
"""
评论：此段提到了 in-context learning 情境学习，可以粗略理解其为上下文语境语义学习。并进一步提到了 emergent property 涌现性质，并怀疑 in-context learning 可能是参数足够多、数据量足够大之后模型自发产生的涌现性质，非此前的计算科学可预测的。且提出了模拟实现 in-context learning 的路径——输入输出一股脑全丢进去，让大模型自己找联系。
此回答也间接用猜想回复了第一段引用——
统计学机器可以诞生出推理、归纳，只不过是以我们暂且不熟悉的“涌现”性质诞生的。
附一个上文中提到的 emergent property 涌现性质——
en[.]wikipedia[.]org/wiki/Emergence
"""
In philosophy, systems theory, science, and art, emergence occurs when an entity is observed to have properties its parts do not have on their own, properties or behaviors that emerge only when the parts interact in a wider whole.
在哲学、系统理论、科学和艺术中，当一个实体被观察到具有其各部分本身不具有的属性或行为时，即代表出现了“涌现”现象。这些属性或行为只有在其各部分处于更广泛的整体中相互作用时才会出现。
Emergence plays a central role in theories of integrative levels and of complex systems. For instance, the phenomenon of life as studied in biology is an emergent property of chemistry.
涌现在综合层次理论和复杂系统理论中起着核心作用。例如，生物学中研究的生命现象即是化学的涌现特性。
"""
说回 chatGPT ，其恰巧可能正是 LLM 参数足够多、训练数据足够庞大之后，用了适当的方法喂出来的第一批弱人工智能，其能力尚未能用计算科学解释，只能归于“涌现性质”。
扯了这么多，只希望能帮到可能帮到的人