newtype0092

@sillydaddy #27 你这个例子里，你说概率为 0 就完全没有道理啊，从原理上就不成立啊。
你要是认为概率是 0 ，起码应该给个理由为什么是 0 吧？

至于你说的实验 1 亿次，1 亿次也不多啊，小概率事件和不可能事件这两个概念的区别总该知道吧。

@BBrother @elevioux #21 不知道抽象能力算不算智力的一部分。

比如说最早的程序员是能看懂纸带上的二进制编码的，后来有了汇编以后很多从汇编开始学习的程序员可能就看不懂（不熟练）打孔纸带了，后面有了高级语言后大部分程序员也不懂汇编了，以后如果 vibe coding 越来越流行，可能程序员都不用会编程语言了。。。

抽象能力让人可以在基础概念里总结发明出高级概念，通过高级概念来处理更大数量级的基础概念。
现在花 2 分钟写一个几 k 的 hello world ，编译一个几 MB 的可执行文件，里面就是上千万个 bit ，放到以前给纸带上打孔都不知道要打多久。

这样一层层抽象下去，人脑在硬件不变，处理数据量不变的前提下，能控制的基础概念的量是指数级提升的。
比如司机一脚踩下油门/电门，无数的零部件都在严丝合缝的运作。
医生一针打下去，无数的化学反应、微生物状态变化都在发生。

如果这种抽象是可以无限扩展的，那么人脑就不会是硬件上的瓶颈。

@sillydaddy 如果按你说的要通过意思进行真正的逻辑推理，那想要知道糖葫芦是否有名，就需要对知道糖葫芦的人的数量进行大致的统计，或者从相关文献中寻找信息源，这种具体任务已经和 “Language Model” 这个概念完全没有关系了。

@sillydaddy 你这才是一种误解吧，LLM 的数学模型就是个概率模型，不存在对意思的逻辑判断。

长上下文没有偏离是因为 Attention 机制，早期的 RNN 模型上下文过长就是会有问题。

问他 100 遍，仍然只能得到相近的回答，是因为训练数据里的类似场景远超你说的 100 遍这个数量级。

@usn #11 这不是 Transformer 架构决定的么？你说的新玩法是指？

“但问题是，答案不一定在可能性最高的下一个词中啊？”

LLM 不是筛选出一个可能的答案列表来给你选，是在这个语言所有的单词的全集中根据可能性打分，你能推理出的下一个词一定在这个语言的全集里。

假设你模型的 token 表就是 [我，吃，喝，苹果，香蕉，面包，汽水]，想推理 [吃] 后面出现的词，也是还是对这七个词进行计算，而不是先筛选出 [苹果，香蕉]，再从里面选一个。

Temperature 低
最后结果的概率分布就可能是 [苹果 50%，香蕉 25%，面包 15%，汽水 5%，喝 3%，我 1%，吃 1%]
概率差异大，随机的结果就更容易命中前面的。

Temperature 高
最后结果的概率分布就可能是 [苹果 20%，香蕉 18%，面包 18%，汽水 16%，喝 13%，我 10%，吃 5%]
概率差异小，后面的低概率的答案更有可能被选中。

之前 2.5 ，拿沼王的电车海报图片问是什么宝可梦，咬死了说是呆呆兽，我纠正也不听。现在 3 能正常识别了，还能识别出电车的场景，给我搜索相关联动的建议，不是倒是数据更新还是真变聪明了。

就这个价格（ 10 块一罐）来说，这几个都很一般，硬要比也就 三得利金罐 稍强一点点。
国内十几块能买到的精酿基本完爆这些。

如果就从日本牌子里比较，我觉的 7 块一罐的红蓝基础款 本麒麟/金麦 综合比这些都强，便宜，味道没有明显差距（有些方面可能还互有胜负）。

我现在就是金麦当口粮，上面几个很久没买过了，其实整个 10 块档的都差不多，和 7 块档的价格贵了 40%，味道有没有更好只能说比较微妙，不如买更贵一些的去了。。。很多 IPA 也就 15 左右，还有各种乱七八糟的小众限定酿造，地方酿造等等。

PS：
朝日的 super dry ，在餐馆里用冰杯上的扎啤，那个杯子壁很厚，自己买同样的杯子塞家里冰箱好像冻不了那么透，总之自己很难还原出店里那个口感。

淡丽，也是 7 块那一档，就是比较清淡，还有 75%~25%各种档次的减糖款，算比较有特点的，可能适合减肥控糖人群？

国内可能低度酒主要是啤酒，日本这边很多 highball 之类的气泡鸡尾酒，店里的柜位基本和啤酒是 55 开的，味道也是五花八本的，很有意思。

你就用这个皮卡丘模型的风格再搞些其他的，做个抽象小游戏我觉得有火的潜质