为什么没有平台，可以连接世界上任何电脑的显卡，整合算力进行训练

[BingoW]

为什么没有这样的平台，用户可以主动申请加入，加入后平台可以利用所有用户的显卡资源进行训练，如果训练出的大模型如果可商用，根据比例进行分成，用户从而获利。这样的话是不是老黄的显卡就卖不出去了，所以老黄说感觉明天公司快倒闭了。。。

[MRlaopeng]

感觉应该是有的, 这不就和挖矿或者挂机赚钱一样吗,你去问下 Ai

[retrocode]

挂机宝(挖矿版)

[totoro52]

早就有了，多了解一下币圈就知道了，一堆这种平台，但都是为了割韭菜

[xtreme1]

因为互联网那点可怜的带宽能让你训到宇宙热寂

[Zoyo94]

##### 仔细想想其实现阶段不现实
##### 这部分显卡之间的算力通讯延迟等等因素就够头疼的了
##### 可以理解为之前的本地电脑，网络带宽发展到现阶段才实现了云端电脑。这只是单个普通通信，显卡那就复杂多了。
##### 大差不差的道理。

[kuro1]

通信速度...

[sunny352787]

曾经有类似的项目，十几年前吧，有各种可以申请加入的分布式计算项目，蛋白质分析和寻找外星人什么的，利用分散的算力来做科学研究，纯公益性质的。现在你有数据分发的功夫都算完了。

[liu731]

太多了（一堆根据这个概念割韭菜的），数据传输是硬伤

[shadowyue]

想一想，能部署在这样平台上的项目是有一定要求的，
最基本的就是计算任务可切片拆分，而且互相之间应该没有依赖关系。
否则第一切片的技术任务不完成，后面的任务都要干等着。
这种项目可不好找。

[mkroen]

有个算了么平台，有类似的功能。至于整合资源训练的想法，用户环境差异、资源分配、安全权限等一系列问题，这些都不太容易做好吧。另外大多数家庭都有电脑，做 cpu 边缘计算，如果算力整合方案可行，家庭共享的算力按理早就取代部分云服务器了。

[Hilalum]

无法 rdma

[wuyadaxian]

https://zh.wikipedia.org/wiki/BOINC

[totoro52]

之前这种平台井喷式的出现过，大部分采用链交易，整个过程上链， 我也用过一些，最大的问题就是数据传输问题，提供算力的机器不一定能提供你需要的数据储存能力，随便一个大模型都几十 G ，这还没包括训练的数据啥，最后就变成了这种平台只能跑跑一些灰色的产业

[adrianyx]

现在训练主要的瓶颈其实在通讯，所以其实这个东西意义不大

[satoru]

为什么你会认为没有？

[dreamshield]

延迟接受不了

[shyrock2026]

你猜为啥大模型要用显存而不是内存。。。

[crayabel]

已经有了，你搜算力共享平台

[banmuyutian]

分布式蛋白质结构计算，可以用家里的闲置算力为科研做贡献 https://zh.wikipedia.org/wiki/Folding@home

[coefu]

vast.ai

[FaiChou]

我举一个例子： https://devnet.inference.net/

[7gugu]

这种平台就满足你的需要了吧： https://boinc.berkeley.edu/ 大家都会在上面贡献自己的算力，给科学任务计算用

[LeonardSc]

有，但是效率太低

[fcten]

因为大模型训练不仅要算力，还要考虑带宽和延迟。
即使是专门针对大模型训练优化的机房，算力利用率大概率都不到 60%。
通过互联网训练，算力利用率可能不到 1%。

[YsHaNg]

有的 最简单你跑个 ollama 暴露默认端口到公网过两天看看

[jerryrib]

BOINC

[pweng286]

有个什么寻找外星人.
记不清了,类似.

[zhanying]

NVLink 可是牢黄的护城河，就互联网那点上行带宽你还想分布式训练。。。。

[gefranks]

SETI@home, 差不多有快 30 年前了.

[ThirdPer]

最大问题还是网络带宽，你想想现在家用宽带那点速度，传个几十 G 的模型数据都要传半天，更别说实时通信了。而且显卡之间的延迟要求特别高，不像以前那种可以慢慢算的科学计算
币圈倒是有一堆这种概念的项目，但大多数都是割韭菜的... 真正能落地的很少。老黄也不用担心显卡卖不出去，毕竟现在 AI 训练对硬件要求越来越变态了，家用显卡根本扛不住那种规模

[hanqian]

https://chutes.ai/ 好像就是

[zhwguest]

内存的带宽都嫌慢，还何况网络....

[ambition117]

nvlink 1.8TB/s(大 B)都嫌慢，还指望互联网那小水管

[HENQIGUAI]

先看有没有，再问为什么。

[Masonn]

也是有的，深度学习里面“联邦学习”就是解决你说的这个问题，多中心训练

[williamx]

这种几十年前就有了，不说挖矿，公益计算也很多。

[cha0szhao]

CG 行业的渲染农场

[LnTrx]

要区分两件事：
通过公众网络借用算力。这已经很成熟了，无论是 CPU 还是 GPU 。
通过公众网络联合训练一个大模型。这缺乏意义，因为大模型训练本来的重要瓶颈就在互联带宽，公众网络远远无法满足需求。

[picone]

你说 io.net ？

[COOOOOOde]

https://www.gongjiyun.com/

之前站里有人发过这个

[layxy]

因为 AI 执行和训练需要很高的带宽

[gongym]

这不就是矿池嘛

[killva4624]

数据量大了之后，通信、存储、计算都是瓶颈。

[clemente]

因为 AI 训练
从全局的角度看 是阻塞的
分布式节点不支持异构

[clemente]

400GB 的模型 你想说 同步到每个设备上做训练吗? 垃圾节点的接入对于整个分布式简直是攻击

[kiracyan]

分布式计算的算法才是关键

[Pteromyini]

甚至都不用提大规模训练，现在的稍大点的模型都会遇到明显的 io 瓶颈和并行瓶颈。主流的训练方案多卡甚至都是只用一个卡的算力+多卡的显存

[ShinichiYao]

当年的 SETI@HOME ，寻找外星人计划就是，电脑上安装完就是一个屏保，电脑空闲的时候显示一个很科技感的屏保，后台贡献 CPU 算力

[i8086]

https://www.worldcommunitygrid.org/

运作很久的项目了~~ 当年是 IBM ，现在已经给其它机构继续营运。

[ShinichiYao]

而且是离线也可以运行，把计算内容分片下发，计算完成后在有网络连接的时候把结果传回服务器

[osilinka]

有吧，加拿大 Montreal 就有个创业公司做这个，不过不知道现在怎么样？
https://nebulai.network/

[way2explore2]

https://bittensor.com/intro

[opengps]

赚了一个亿分你一块钱你高兴吗？你交电费够用啊？

[clemente]

说一个类似的对比
现在欧美这么多不工作的人 应该拉到一起去做芯片制造和芯片设计

你觉得能行吗 人与人之间差距 很大. 并到一个系统 只会是攻击性的

[yansideyu]

挺多 depin 项目宣传的就是共享 GPU 、CPU 、闲置带宽之类的，但实际大部分项目都是骗钱的

[dosmlp]

带宽太低，延迟太高

[wenkgin]

以前不是有新闻报道过，黄瑟网站挖矿吗

[dmanbu]

你把显卡改成老婆，再重新读一下标题看看？

[liuidetmks]

曾经有个 ZetaGrid ，用来寻找黎曼猜想的反例 05 年停了

[Haku]

我记得很久以前有个项目，不知道是不是上面提到的 ZetaGrid ，在显卡还没那么重要的年代，通过分布式计算的想法，让个人电脑贡献算力。
现在的话应该是云算力啥的吧，也有的

[nanvon]

有的兄弟有的，不少公司都是做这个业务的，现在政府也在搭建区域算力中心，也就是你说的这种

[echo1937]

有些项目例如蛋白质折叠这类对并行友好的是 OK 的，大模型训练这类对带宽延迟敏感的不行。

[xkeyC]

挖矿是分布式弱关联暴力破解
ai 训练高关联高带宽，互联网不太够

[xomix]

带宽问题导致的，全光纤直连应该可以。

[Greendays]

一个 PCIE4.0 x 4 的接口有超过 40Gbps 的带宽了，这得多少网线才能追得上。