也许每个人都有必要去了解一下 ChatGPT 的技术原理，这样才能形成对它的理性的认知。

[BrightLiao]

ChatGPT 是否是一个突破？见识过 ChatGPT ，你会感觉焦虑？还是觉得触碰到了未来？或者觉得可以好好捞一把？

也许每个人都有必要去了解一下它的技术原理，这样才能形成对它的理性的认知。

从程序员的角度如何理解 ChatGPT ？个人的一点心得，欢迎大家讨论： https://brightliao.com/#/NDg0OTc2

[huoshanhui]

感谢分享。（月薪三千的我就不去形成理性认知了）

[fwin3001]

我觉得这篇更加深入浅出，关键没有深度学习背景也能看懂： https://arstechnica.com/information-technology/2023/04/why-ai-chatbots-are-the-ultimate-bs-machines-and-how-people-hope-to-fix-them/

一句话就是统计学概率+人工标记。下面是 bard 总结的文章内容：

“作者指出了人工智能聊天機器人編造虛假信息的兩個主要原因。首先，他們接受包含真實和虛假信息的大量文本數據集的訓練。這意味著他們可能會學習生成兩種類型的文本。其次，人工智能聊天機器人並不總是能夠區分真假信息。這是因為它們沒有明確編程來執行此操作。

作者建議有幾種方法可以解決人工智能聊天機器人編造虛假信息的問題。一種方法是在僅包含真實信息的數據集上訓練聊天機器人。然而，這將是一項困難且耗時的任務。另一種方法是開發可以幫助聊天機器人區分真假信息的算法。然而，這也是一項具有挑戰性的任務。

作者最後認為，解決人工智能聊天機器人編造虛假信息問題的最佳方法是教育人們這些聊天機器人的工作原理。人們應該意識到人工智能聊天機器人並不總是可靠的信息來源。他們還應該意識到聊天機器人正在編造虛假信息的跡象。”

[oukichi]

我这阵子就在系统学习这方面的知识，发现很多之前媒体上还有程序员圈子里传的很欢的说法，其实都是一知半解的人以讹传讹。
学习过程中意识到了很多东西，觉得应该大家有空的都好好学学。

[oukichi]

我去看了你的文章以后才发现，咱俩竟然是同事……

[rocmax]

对 chatgpt 的理性认识就是现在做 AI 本身开发的赛道已经没有中小公司啥事了，以往还能抄个开源模型调参，现在老实接 api 做应用端就好了。

[ritziiiiii]

看到抖音有个视频讲得挺好的,感觉主要有趣和牛逼的点在于神经元网络,还有权重算法这两个点,
还有一个就是记忆能力,gpt 的记忆能力的技术感觉应该能早点出现的,怎么 gpt 出现了,才意识到应该有这种东西这么好用.
但是我疑惑的大数据模型的来源基本没将,可能是因为这个东西其实含有大量人工成分,而且也不好讲太明白.

[ritziiiiii]

参考 SD 绘图,我理解的黑盒更像是一大堆"错误答案"里的"正确答案",科技本身就是不断纠错的,参考<两个铁球同事着地>,有时候一直认为是正确的东西也不一定是正确的.

[mjawp]

我了解原理，从 word2vec 、bert 、一路追过来的。但是就是搞不懂怎么一下子涌现出这么厉害的能力

[BrightLiao]

@oukichi 哈哈，同事你好！

[BrightLiao]

@fwin3001 感谢分享！

[BrightLiao]

@rocmax 那也不尽然，我觉得不久的将来肯定有开源可用的模型出现，随着硬件性能的提升以及各类优化手段加持，以后应该人手一个大模型，人手一个专用的智能助手。

[BrightLiao]

@mjawp 这就是黑盒的感觉，目前只是有一些经验的解释。

[rocmax]

@BrightLiao 不光是硬件算力的问题，还有训练数据集资源的问题，最后还需要大量人工标注，哪一点都不是中小企业玩得起的。

[rekulas]

感谢分享,不过说个实话,这个作为"程序员的角度"可能还不够,应该说普通人的角度,程序员大多都有所了解,知道一些基本的工作模式,希望能普及更底层一点的知识.
我跟 gpt 也有一点缘,公司 19 年就尝试过用 ai 来写文章,当时也是找过一些类似模型,不是基于 transfomer 但也是 token 预测,训练了数周时间,可以写一些智障文章,于是我们悲观的感觉 10 年内都不用考虑 ai 写文章,没想到才 2 3 年就发生了巨变, 当时如果能尝试下 gpt2 也许会重新评估我们的想法

[DDDDevin]

@rocmax 一些简单的模型，如果业务复杂度不高的话，可以自己写模型或者直接使用开源模型吧？ 这样成本应该更低？接入成熟已有接口必然都很贵吧。