101
catazshadow OP |
![]() |
102
coefu 119 天前
@trungdieu031 我过过脑子,当前 LLM reason 的能力怎么来的?不是 RL 后训练得到的? COT 真要有提升的话,还关参数量什么事情? 9B 的 LLM 带上 COT 能和 671B 的不带 reason 的比?
|
103
catazshadow OP @trungdieu031 业内现在喷老黄喷的是他 GPU 单元的利用率其实是及其底下的,原因之一就是内存墙,数据供不上
|
![]() |
105
icyalala 119 天前
@catazshadow 那你是说在世界中有些人连觅食交配还不如老鼠,所以这些人连老鼠的智能都不如?
|
106
catazshadow OP |
![]() |
107
coefu 119 天前
@catazshadow llm 的本质就是下一个字的概率预测,自己多看点入门的书就知道了,比如从零开始训练一个大模型。
|
108
catazshadow OP @coefuqin 英文世界有人把 LLM 叫做 stochastic parrot ,很贴切了。上面那人就是因为我把这个说法搬过来叫做概率鹦鹉跑来追着我咬的
|
109
trungdieu031 119 天前
@catazshadow 我们说现在“摩尔定律失效“ 一般都在说晶体管尺寸(制成工艺)快要达到物理极限了,显存读取带宽目前还没有达到物理极限。
目前的超大模型都是在集群/分布式训练的, 单卡很少能容纳一个完整的超大参数模型,单卡的 DRM 读取速度不是主要瓶颈,因为卡与卡之间的通信比这个要久,所以未来比这个更大的模型也会采用同样的思路。而且还有其他手段来解决这些问题! |
110
catazshadow OP @trungdieu031 集群的话,就会撞上功耗问题了。上面说了,一个 openAI 已经让美国电力短缺了,假设算力扩展是线性的(现实世界通常不是),要来几千个吗?
|
111
HENQIGUAI 119 天前
5 年前能预判到 AI 发展到今天这种程度嘛,还预判起几十年来了.....
|
112
trungdieu031 119 天前
@coefuqin 他那文章说的是,同样的 671B 的模型,用同样的数据训练,他们模型的能力范围是一样大的,比如数据集里没有法文的数据,那你后训练 RL 再怎么跑,也没法回答法文的问题。
那么为什么 COT 会对模型能力尤其是推理能力有提升呢,因为 COT 的训练其实是在强化思考过程,就像对数学里的加法运算一样,这里的 COT 其实就是加法,只不过作用在在不同的名词/实事上,使模型推理能力提升! |
113
catazshadow OP @HENQIGUAI 别忘了 AI 浪潮之前 7 、80 年代已经死过一次了
|
![]() |
114
pkoukk 119 天前
LLM 模拟的不是人脑,而是人类文明的逻辑学,语言学,符号学,这些东西可以不在人脑上运行
|
115
trungdieu031 119 天前
@catazshadow 目前来说功耗确实是问题。但在实现 AGI 这个目标面前,功耗带来的成本增加会显得不值一提!
|
![]() |
116
icyalala 119 天前
@catazshadow “你要比应该在相同的基准上来比” 那我就再重复一遍:
并不是所有神经元的连接都是有作用的。神经元的数量也无法对应智能的水平。LLM 的参数也无法对应神经元的连接。 |
117
catazshadow OP @icyalala 那你怎么证明这 6500000 亿个连接里,只有 600B 是有用的?或者只有 6000B 是有用的?或者到底哪些是有用的?
|
118
catazshadow OP @icyalala 或者什么是你所说的“有用”的?
|
![]() |
119
ddoyou 119 天前
跑一下题:造物主因为硅基构建智能体太难了,所以才用碳基构建了智能体,先是构建了一些低端智能体,再迭代构建了人类。
|
![]() |
120
icyalala 119 天前
@catazshadow 有用就是说能够对应智力水平。神经元的连接能够对应智能的水平吗?你怎么证明?
LLM 的参数能对应应神经元的连接数量吗?你怎么证明? |
![]() |
121
icyalala 119 天前
@catazshadow 你再仔细读读你的帖子主题,
”600B 的大模型的参数量也就这个数字的千分之一“,大模型的参数量和神经元连接是一回事儿吗?能够类比吗? |
![]() |
122
chairuosen 119 天前
午休了一下,没想到楼盖这么高了。反正我看来看去没想明白 LZ 在表达什么。有瓶颈,有限制,你们说的有点道理,我们也提了可能的解决方案但你们说不对,所以呢,放弃不继续研究么? AI 届的失败主义?现阶段 LLM 不就是这个星球上最接近“智能”定义的东西么,不就是最有希望实现 AGI 的么,你还有什么别的好方案?
|
![]() |
123
coefu 119 天前
@trungdieu031 COT 只是让一个小学生对他思考模式更缜密,再怎么强化思考过程,也独立思考不出来微积分。并没有提升模型的能力。就像知识树,只是在现有的树里攘括更多的分支和节点而已,树本身没有拓展。那提升了什么能力呢?那些知识或许本身就有,但只是没想到而已。
|
![]() |
124
qieqie 119 天前
基本概念有误,神经元的数量和神经连接的数量不是一个概念。如果要和 LLM 比,一个 N 输入 M 输出的线性(全连接)层是 N * M ,而不是 N+M
|
![]() |
125
coefu 119 天前
@trungdieu031 在 COT 这个问题上,你和我不在一个频道,你理解的能力和我理解的能力不是一个概念,可以就此打住。至于我是不是听风就是雨,我比你更清楚。我能对你回复,已经算是出于好意了。不必再艾特我了。
|
![]() |
126
coefu 119 天前
@coefuqin 英文世界有人把 LLM 叫做 stochastic parrot ,很贴切了。上面那人就是因为我把这个说法搬过来叫做概率鹦鹉跑来追着我咬的
属实难绷。这个话题,我打算打住了,其实上次我看到这个报道的时候,我也是生出了和你一样的想法,没想到还会有人能拿出来讨论,我觉得英雄所见略同,甚是欣慰,我道不孤也,老铁,后会有期。 |
127
trungdieu031 119 天前
@coefuqin COT 的确是让思考过程更精确。你这里说的又是另一个问题,LLM 能否做出原创性的思考?
归根到底,看你是不是认为人脑的智能的过程都是可计算的。 智能的表现形式里,COT 是一种,但它只能在既有的知识范围内推理,像数学里的演绎。COT 能被 LLM 学习到,转化为 LLM 隐式空间里的向量。 直觉也是智能的一种形式,如果它是可计算,那它必然也能转化为隐式空间的向量。 所以这个问题就变成,你是不是相信大脑有超越图灵机的能力,如果没有,那它必然是可计算的。 至少目前世界上还没有发现能超越图灵机计算能力的实际模型。 实际上没有什么东西是完全无中生有的创造,都是在既有范围内的创新,但范围本身要不断扩大。 |
128
smlcgx 119 天前 via iPhone
@chairuosen 所以说实话,我觉得这才是诺贝尔奖给辛顿的最大理由吧,可能他不一定是正确的,但是他推广了这方面的研究,激励了后人去开拓。乔姆斯基就很让人绝望,他提到:心灵的内部运作是意识不可接近的,这他吗让人怎么研究啊😄,虽然我觉得后者可能是对的
|
![]() |
129
coefu 119 天前
@trungdieu031 刚才关于知识树的比喻,我好像错了,就这样了吧,后续再去学习。这个话题,我不打算继续讨论了,不必再艾特我。
|
![]() |
130
sillydaddy 119 天前
@catazshadow 楼主,你口口声声说 LLM 没有智能,只是统计学鹦鹉。那什么才是你的标准呢?
口说无凭,我最喜欢的就是用真金白银说话,这么着,我划一个道儿,看你敢不敢接: 我跟你赌 10 万块钱,如果你是一个程序员,3 年内,基于 LLM 的编程能力能达到或超过你的水平。 这个也很容易验证,给定任何一个软件的实现需求,双方(LLM 和 OP)作为程序员,去接受需求、并提出关于需求的疑问、然后开发、测试、部署。可以查询 Google 等资料,但是不允许问其他的 AI 。需求提出方、疑问解答方、验收方,都是相同的人类。 这样的水平你觉得算是有智能吗?我敢跟你赌 10 万块!!你敢吗? |
131
catazshadow OP @icyalala 神经元的连接能够对应智能的水平吗?你怎么证明?
我不能在科学意义上证明,而且像我顶楼说的,我也不觉得在几十年内有人能够在科学意义上证明。 但是,狗比老鼠聪明,狗脑子比老鼠脑子大,这点相关性是存在的。 至于为什么大模型参数量和神经连接对应,你去给自己科普下这些神经网络的结构不就知道了? 前一层到后一层的每一根线不就对应一个参数?这不就是神经连接? |
132
catazshadow OP @coefuqin 后会有期
|
![]() |
133
LevineChen 119 天前
@hewitt29 #31 `本来就是,现在所谓的 AI ,连真正的 AI 的门槛都没有摸到`
现在刚刚好, 对于程序员来说属于蜜月期既没有取代大家的工作, 又可以实实在在提高了工作效率 好让我有空摸鱼一层一层看你们的讨论.😂 |
134
catazshadow OP |
![]() |
135
summerLast 119 天前
只要函数可以用来解决外部问题,并且可以根据外部反馈自我调整自己的参数,从而更好的解决问题,改进自己,那么我们就认为它是智能的,llm 目前正在逼近这个
智能即预测 |
![]() |
136
sillydaddy 119 天前
|
![]() |
137
InkStone 119 天前
我并不认为现在的 LLM 是在模仿人脑结构。这种仿生学论断不具备实际意义……
另外我也不觉得“LLM 没有智能”之类的论断不能平移到人类身上。人类也只是统计学鹦鹉,有太多的心理学实验支持这一点了。 |
138
catazshadow OP |
139
catazshadow OP @InkStone 神经网络这个数据结构之所以叫神经网络,就是因为它是在模仿人脑的神经结构
|
![]() |
140
InkStone 119 天前
@catazshadow 神经网络这个词的年龄比你大得多,现在 LLM 的结构已经跟它最初的设计相去甚远了。这种生搬硬套的望文生义有点太民科了
|
![]() |
141
InkStone 119 天前
@catazshadow 仿生学是上个世纪的显学,各国的科学家和科幻创作者都热衷于模仿生物结构。就是因为这条路比看起来要难走得多,这股热潮才会退却。
人工智能领域的很多成果都证明了这一点:AI 不按照人类的方式来处理问题,很多时候反而会得到远更好的效果。到现在除了面向外行宣发的时候,早已经没人在乎什么人脑不人脑的了。大家设计的是能解决问题的结构,而不是更像人脑的结构 |
142
catazshadow OP @InkStone 这不代表 LLM 不是神经网络
|
143
catazshadow OP @InkStone 你说的是 AI 用来解决某些具体问题是有效的,这我不否认,我意思是这离真的智能差的很远。更不能用来反过来倒推人的本质和大脑的本质。
|
![]() |
144
InkStone 119 天前
@catazshadow 它只是名字叫“神经网络”,但并不是什么模仿人脑的结构。事实上真的了解过神经网络和人脑结构的人很容易发现这一点,它们有相似之处,但并不是一种东西。
另外我前面就说过了,人类也离你想象中的那种“真正的智能”差得很远。大家都是统计学鹦鹉而已——或许一个鹦鹉确实处理问题的能力显著强于另一个,但这不代表你不会在一些问题上露怯。 |
145
catazshadow OP |
![]() |
146
InkStone 119 天前
@catazshadow 如果你完全不想做严谨的定界判断,只想凭心情来,那只能说你开心就好。
对 LLM 智能性的诘问之一就是“或许它能力确实很强,能解决非常多人类解决不了的问题,但它没有真正的智能”。 我现在就是在告诉你:“真正的智能”和“真正的苏格兰人”一样,是一种不存在的东西。LLM 也不需要通过变得更像人脑来变得更好,对比它们的参数毫无意义。 你的观点无论在形而上还是形而下的视角来看都毫无参考价值。往上不够严谨,往下没有实践指导意义。 |
147
catazshadow OP @InkStone 你觉得我的观点有没有价值那是你的判断,与这个世界的很多事情都无关
至于真的智能是否存在,我顶楼就说了,在模型逼近真实人脑的规模之前没有答案,我没有说它存在也没有说它不存在。你为什么觉得这东西就不存在呢? |
![]() |
148
icyalala 119 天前
@catazshadow "大模型参数量和神经连接对应" 啊?!
你既然这么认为,那就回到最开头的问题,现在 GPT4 的参数量级和老鼠的量级相当,你觉得他们智力相当吗? |
149
catazshadow OP |
![]() |
150
billbob 119 天前
你怕是不懂 NLP 技术,生命智能,人工智能区别!
生命智能具有自我意识,能够感知自己的存在和状态,有情感、欲望和主观体验。而 AI 目前没有真正的自我意识和情感,只是根据预设的算法和模型进行数据处理和任务执行。例如,GPT-4 等语言模型可以生成看似合理的文本,但它并不理解文本的含义,也没有自己的主观感受。 |
151
xinyu98 118 天前
@catazshadow #134 你就是世界?不要教世界做事。
|
152
catazshadow OP |
153
sky3hao9 118 天前
赞同, 人类其实对人脑的了解不到 1%, 现在说 AI 跟人脑的原理一样规模不同而已, 纯属扯淡.
距离真正的硅基智能至少还需要几十年吧 |
![]() |
154
LevineChen 118 天前
@catazshadow #110 你不看看一个 openai 服务多少人? 又不是全部资源用做一个智能个体
|
![]() |
155
icyalala 118 天前
@catazshadow “上头别人不是问过你了,你要怎么定义智力啊?还是说你非要拿苹果和梨比?”
你自己在主题里就写了 “它给的只是智能的错觉而已”,你是怎么定义智力的? 你要认为 AI 的智力和生物的智力不是一个东西,那就不应当拿 AI 参数和神经元连接对比,因为他们根本不是一种东西。 |
![]() |
156
iam174cm 118 天前
人类无法创造自己没完全理解的事物,连意识、死亡、肉身和灵魂都没搞清楚完整机制的情况下还是别信这玩意能赶上人了。。。现在的 ai 就是当一个加强版搜索引擎或者工具罢了,例如像螺丝刀一样使用。
|
![]() |
157
iam174cm 118 天前
人类真要除去自然分娩从零开始造人,只能干掉伦理审查,直接全世界死刑犯抓起来当实验材料然后拉一帮各学科的科学家去研究怎么超越死亡机制和留存或者说重构意识灵魂。人类本身过于精密,就是被设计出来的,以至于现在所谓的人工智能再模仿都不可能赶得上
|
158
anan1314git 118 天前
@wyntalgeer 都不用未来, 现在在某些方面都已经比人类更智能了
|
159
Codingxiaoshi 118 天前
AI 智能为什么一定要和人类大脑一样呢? 人类大脑很聪明么? AI 也有 AI 的特点, 能思考就行,现在的思维链和推理模型我觉得已经可以做很多事情了
|
160
catazshadow OP @icyalala 明明神经网络就是在模拟神经连接,那参数的数量不就是被模拟神经连接的数量?这你没法拐
至于你说的哪个智力更好,是模拟出来的效果跟原来真东西的效果在比较,这是模拟的结果。和模拟你不能说模拟的结果有哪里不对,所以我对模拟的方法的定义就是错的。 |
161
catazshadow OP |
![]() |
162
yankebupt 118 天前
@catazshadow 你把这个话换种方式听,把“大脑”换成“语言”,就顺耳多了
人脑的思考很大程度上被语言制约,LLM 也一样(一部分完全用图像思考的天才人类和用视频思考的 VLLM 除外),所以思考的相似性是这么来的:被同样的语言制约,真的,要千分之一的连接数模拟脑思考,模拟个神经链接未开发的两三岁的小孩我信,成人真模拟不了。 |
![]() |
163
zhy0216 118 天前 via Android
让我想起一篇老文章 https://www.biorxiv.org/content/10.1101/055624v1
人类研究大脑都还是在摸黑盒呢 不过不妨碍可能已经摸索到到智能 从 ai 反推大脑 虽然我们对两者都不了解 但毕竟 ai 是人造的 在他表现出和大脑一样的智能 我们可以相信两者有什么共通之处 |
![]() |
164
icyalala 118 天前
@catazshadow
首先人工神经网络只是灵感来源于生物神经元,并不是精确模拟。 其次 LLM 的参数只是计算过程的中间状态权重,与神经元连接数量并不能直接对比。 所以首先你对神经元理解就有问题,并且非要用权重和连接数量对比,这本身就是错误。更不用说还认为 “参数量不如人脑,所以没有智能” 的看法了。。。 |
165
catazshadow OP |
![]() |
166
clocean 118 天前
有和我一样来这个帖子里蹲干货的吗?如果这个帖子直到无人问津的时候,还没干货,说明 AI 还没发展到足够牛的地步,如果够牛,AI 会给你找到资料反驳楼主的。🐶
|
167
sonia00000 118 天前
如果“智能”指的是不完全依赖人类输入规则而能够根据不同的情况给出不同的问题解决方案的话(不用管对错),那么 LLM 已经有了;
如果“智能”这个观念隐含了自我意识之类的含义,那么我觉得在现有的基础技术没有突破前,目前的大模型确实不可能产生“智能”,但是从能量守恒的角度来说的。 因为不论怎么样,现有计算机是 2 进制基础,而人脑大概是 8000 进制。。。 总量大概是 10^15 这么多突触。进制决定功耗,所以从功耗上来说,可能举全球之力的能源才能训练出一个有点“智能”的 AI --> “举全球之力”就不太可能(注意所有论断都是基于基础技术没有突破) 以上判断是在 GPT3.5 刚出的时候做的,主要知识储备来自《生命与新物理学》并延伸推理,and 人脑突触数量来自维基百科。 我以为人类或者说任何生物最厉害的还不是智能,是功耗极小。 |
![]() |
168
Fish1024 118 天前
我觉得可能过于高估人脑了。
|
169
Donahue 118 天前
达到人脑那种规模又怎么样,就现在来说我觉得有很大部分人的“能力”都不如 LLM
|
![]() |
170
zhanying 118 天前
答主首先要知道进化是能用就行,不是追求最高效,典型的例子就是喉返神经。大脑也不是为了产生智能而进化的,所以相当多的神经元被用在了生存而不是意识上,AI 现在没有智能,但不代表要达到人脑规模才能产生智能。。。
|
171
katwalk 118 天前
@catazshadow #8 模拟连接数与判断智能之间,其实隔着认知能力、通用性、目标设定、世界建模等复杂维度。 如果智能只靠连接数,那婴儿、虫类、甚至某些神经密集植物也该有「智能」。 智能不是量堆出来的,是结构、目标与表现所形成的系统能力。
|
172
katwalk 118 天前
@catazshadow #26 大脑连接数 ≈ 智能本质 → 模拟连接数 ≈ 智能模拟 → AI 参数少 → AI 不智能。这是一种表面理性、实则简化的「类比型结构误判」。
|
![]() |
173
vansl 118 天前 ![]() 本质上还是一个统计学工具而已,把字符排列成看上去有意义的序列,因此语料的上限就是它能力的上限。
题外话,这几十年,ai 每隔几年就会掀起一波热潮,每次总有人惊呼奇点将至,回头看无不觉得可笑,应该要吸取教训。尤其在 LLM 能力提升缓慢、应用迟迟无法落地、这波热潮已经明显退潮的当下,还要吹嘘 LLM 是多么具有变革性的成就,技术嗅觉未免太不敏锐了。 吹个小牛,GPT 刚出来时我就唱衰了。 |
![]() |
174
2232588429 118 天前 ![]() @vansl #173 一地鸡毛背后还是人类千年老传统:骗子和傻子的游戏。
|
![]() |
175
ltux 118 天前
建立楼上都先发个自己笔算 svd 的视频再来争论,否则基本等于菜鸡互啄-_-
|