蒸馏是否类似于“钓别人鱼桶里的鱼”

[easonhui]

一直没明白 AI 圈子里的“蒸馏”是个什么概念，跟钓别人鱼桶里的鱼同理吗？

如果蒸馏有理，那谁还愿意花钱自己训练？

创新不被保护谁还愿意花钱花时间去创新呢？抄过来卷价格就行了。

[zhuhaohenry]

说个相关又不相关的，桶里的鱼不好钓

[cjban]

更像是用网直接捞别人桶里的鱼

[thatlazyman]

感觉是一个人钓到鱼放到自己池塘，但是别人来偷钓 🤣 只是防不了只能谴责，喊人帮忙

[iv2ex]

蒸馏是模仿，是学习别人的思维成果。

所以举例子来说，“从老师那里学知识”就是蒸馏的过程。

[yuanwenpu00]

他桶里的鱼也不是自己喂大的。是从河里钓的。

[weixind]

我觉得更直观的解释是类似“临摹别人的画”。而不是钓别人的鱼。

[Nasdaq]

我的理解是上顶级饭店吃饭，然后反推学习做菜方式。

[coderluan]

是，不过有个前提是现在桶里的鱼本身也来路不正，本来久是违规野钓甚至也是从别人桶里钓的。

[coderluan]

@Nasdaq 小李：隋老师，这人好像在内涵你。

[Plutooo]

自学和找老师教的区别

[LeoWA]

监督学习，同样的输入，拿模型的输出与“标准答案”做比对，然后拟合。

最重要的就是 Cot ，你看那个报告，就是用各种骚操作去反向还原 Cot ，如果只是用结果的话，成效有限

[Frankcox]

我其实一直不知道蒸馏为什么会算是“攻击”。如果一个人付费使用 api 生成数据，那么这个数据的归属人算谁的？他获取到的任何内容难道使用权不归他吗？那他用生成的数据再去训练又有什么问题？难道我用 claude api 生成一段代码，放在我的服务里盈利了，claude 还要跑出来说这个“代码攻击”，认为我的服务这部分属于他们公司？

[x86]

依葫芦画瓢

[hoky]

别人自己去河里钓鱼，蒸馏是去人家桶里钓鱼。
但是我感觉这个去人家桶里钓鱼很危险，因为那条鱼有可能是个蜜罐。

[daliusu]

准确的说法是，你去饭店点了盘菜，然后趴在后厨门上看厨师怎么炒的，回家照葫芦画瓢做了一盘差不太多的

[Meteora626]

@Frankcox 因为 a➗认为 他生成的数据是他的，你的想法没问题，我付费了 我爱干啥干啥

[daliusu]

@daliusu #15 这个厨师自己的菜也不全是自己琢磨的，他可能也是看了网上的烹饪宝典结合自己的实际情况炒的

[Meteora626]

蒸馏就是看别人做题，反推他的大脑想法。楼上说拿网捞鱼的是只蒸馏权重，这个现在做不到的

[GeruzoniAnsasu]

根本不同理。全世界只有 A\在拿这个词汇强词夺理。

我在隔壁说了这是一种释经权：我拥有一本谷蓝经，只有我能使用并解释书里的文字内容，任何人自行读这本书并写作自己的经典就是对唯一神 [AI 拉] 的亵渎，是要被青蒜的异教徒。

[akorn]

说白了就是抄袭。
别人写了个百科全书，你可以用。但是你把书里词条全拖走，自己印书去了。
虽然百科全书也不是原创。但是人家编纂是费了大量工作的。
你上来直接拿结果。你要跟据人家书目，自己收集素材，也不说什么了。

[Berin]

@iv2ex 这个例子不对，老师教知识是主动教你。蒸馏是偷别人论文数据发表文章

[ShinichiYao]

看了一下基本反駁觀點：我偷你怎麽了你來路也不正，我付了錢了我就是大爺，你不偷看我怎麽知道我在偷你的。
這個國家的基礎教育出了大問題

[0x93ee]

钓鱼举例不对，因为蒸馏是你的还在，我把你的学来了。

@akorn 搞得蒸馏的时候人家没付钱一样。
蒸馏完全和抄袭不是一回事，抄袭是白嫖。蒸馏是花钱买了你的知识，至于我拿你的知识是自己用还是变成老师教别人，那都是我的事情，只要我是花钱买的。

[0x93ee]

@Berin 如果是付费调用你的接口呢，获取的数据我是不是可以拿来做其他事情比如让我的 AI 学习。

就比如你交了学费在课堂上蒸馏了老师给你的知识，那么如果你当了老师，再给其他人教学是不是变成了你偷你老师的了？

[InDom]

A 造了一辆车, 各项性能都很好.

但他的车只租不卖, 按行驶里程收费.

现在来了几个人, 租了车后开到自己的工厂, 让工人拆开学习造车.

后来 A 发现了, 就大骂: 我的车都有定位, 有记录仪, 你们开到哪了我都知道, 我还知道你们都谁拆的.

你们这是抄袭我的车.

[beimenjun]

当一个东西具有稳定的争议性的时候，更重要的是明白这个事情的复杂性，评论区许多人完全没必要把自己当作可以做出判决的獬豸，你们不是，也当不了，更没必要。

[unused]

@InDom 按这样比喻并没有拆开，只是在各种场景下驾驶了几十万公里

[easonhui]

那大概有点像是抄作业吧。

[langhuishan]

chatGPT 刚开始做大模型的时候，是雇佣了大量人员，手工标注。蒸馏就是去掉了人工标注，让被蒸馏的 AI 来标注。

[Satoshl]

@Frankcox 现在看 A/的行为确实是这么认为的，随意披露用户对话

[youname]

相当于这个东西原来你不会
然后你去问别人 别人整理了各种答案 你都学了一遍
然后后面又来了一个人问你这个东西 你就会根据你学的各种答案再加上自己的理解回答
相比别人省去了大量整理的时间

[LLLeo]

我的理解是你辛辛苦苦不断尝试调配出来的奶茶，对方分析出你的配料比例直接抄过去了。

[TomatoCLI]

就跟以前造车一样，没专利保护的情况下，我买一辆车，拆了，然后仿制，但是我本身也要有一定能力才能干这个仿制的事情。只是现在并没有相关法案说不准蒸馏。

[Rorysky]

@InDom 这不正常的么？ 我看张雪机车纪录片，他们就这么干的

[ldy619354397]

可是桶里的鱼仍然在

[wowawesome]

有样学样

[niubilewodev]

爬互联网资源的时候，是不是钓别人桶里的鱼？


我支持各种模型相互蒸馏。
叠个甲：我几乎不使用国产模型。

[getadoggie]

不提倡 但是不必谴责

[DeYiAo]

目前地球上任何国家的法律都不能推断出蒸馏违法，即使看起来有些不道德。
我花钱让 AI 模型生成的数据，所有权毫无争议的属于我，我怎么用，让我的 AI 学习，你管得着吗。

[ingxhe]

@0x93ee #24 哦明白了。只要给你钱就能操你老婆，完全不管你和你老婆的意愿。
再举个例子，开源软件就是可以随意使用？

付费也要遵循付费的许可
人家应该没有许可你付费，就可以合法蒸馏，别人没逮到你就算了，逮到你就是你的问题

生活中还有很多事都是这样，科学上网不是不知道，是你没什么危害国家懒得不管你，不代表就合法，走合法线路才合法。真想定你罪你也没话说

[ingxhe]

@GeruzoniAnsasu 不是这个意思吧？别人阅读了古兰经有自己的阅读理解，你偷偷得知了别人的阅读理解。这个是别人不同意的。并不反对你自己去阅读古兰经并有自己的理解

意思是说所有网上的课程都应该免费？因为他们的知识都是基于大家公共的知识。

[shalou8023]

@coderluan #9 探店齁逼多，真假厨子说

[EasierL]

大概相当于花钱让你把桶里的鱼拿过来让我拍个照

[CEBBCAT]

不懂就去搜啊，这种问题你也要来问吗？ gemini.google.com chat.deepseek.com 🤷

[QingXuJiaZhi]

@ingxhe 人不是商品，不能这样类比。而且，大家正常聊天，无冤无仇，不要用带有侮辱性的类比。

[QS0x01]

按照你这个理论，模型凭什么从网上收集数据训练啊？
A/ 有把利润分给开源贡献者 / Blog 贡献者 / 文学作家吗？

## **我抢可以，你偷我抢的就不行是吧**