能否建立一个的 AI 训练众包平台

[brainzhang]

已经有很多人讨论过这个点子了，就像挖矿一样；能否建立一个的 AI 训练众包平台；家里有显卡的小伙伴可以把闲置的设备租出去赚取收益；而没有强力计算设备的用户无需花费大量资金购买设备， 只需登录平台，提交任务即可进行 AI 训练；

之前的技术瓶颈在于几乎不可能将大规模的 AI 训练拆分成一个个分布式的小任务，因为数据量庞大，并行交换要求高速的带宽等等；但是目前像 Stable Diffusion 这样的图像处理任务，一旦部署了稳定和标准化的模型，是可以将任务拆分为极小的数据单位的；这样技术上就能将一个个任务分配给某一台个人 PC 去处理；

我拍脑袋想了一下，建立这样一个平台的难点在于反作弊和计算量评估；这两点应该都有合适的解决方案；

• 反作弊可以参考挖矿的算法，为每个客户端生成一对 公 /私钥， 服务端下发每个计算任务时，采用私钥加密；客户端上传每个计算任务时，采用公钥加密；

• 计算量评估先期可以采用服务端评估的方法；后期可以通过下发任务给配置类似的客户端，采用同一个客户端并行执行同一任务，然后比较计算时间，来建立一个靠谱的计算量评估机制

• 最后是防止滥用和羊毛党，可以采用信用评分，对于完成任务优秀的客户端打高分，给它分配更多更高收益的任务，从经济系统上进行激励；

我搜了一下，目前这个点子的相关项目不是很多，都在起步阶段，我觉得挺有前景的；

大家讨论一下，这个项目在 技术 /商业 /可行性 上有哪里漏洞？

我在 github 上建立一个一下项目，有兴趣的小伙伴可以去讨论下:

https://github.com/aitobox

[youmilk]

我前几年也有类似的想法😎

[kkwkk]

思路不错，其实不少人都弄着本地 sd ，刚开始只是想涩涩，所以 c 站模型产生很多很快，
但是后面如果没能转为收入的话，大家也就渐渐停了下来。

[Wen2chao]

@brainzhang
colab 一天免费用几个小时.....给的 Tesla T4 。

[kkwkk]

colab 主要是得自己弄各种大模型和 lora 等麻烦，自己本地我们基本都弄三四百 G 的模型

[kkwkk]

@brainzhang 闲置显卡也得看是什么卡，各种卡之间训练出图速度差不少。
还有就是是否是 torch2 等，虽然最新 webui 已经是默认的 torch2 了

[brainzhang]

@kkwkk 对；这是细节问题；估计平台还得对每一个接入设备打分；不过现在讨论的是大体框架有没有问题；技术上是不是有坑；

[kkwkk]

我觉得弄出图的还是麻烦了，因为涉及模型问题，大家一般都只会下自己喜欢的难以满足要求。
所以还是训练比较切合闲置显卡利用，虽然其中也会涉及到大模型作为底模的问题，但不是很大（一般大家训练底模大差不差），最后就是涉及训练素材问题

[brainzhang]

@kkwkk

1. 这种众包平台，对于个人用户来说(一般是小白，应用者)，应该是是推理需求多，训练需求还是专业人士在公有云上跑合适
2. 从技术上来说，训练任务不好反作弊，不好并行跑；

[kkwkk]

@brainzhang 如果是出图的话，因为是交付原图（原图包含图片信息），监督还有那么大必要么。
我可以理解为让每个用户发出自己想要的出图的参数（大模型+lora+咒语），然后接单着参考自己的模型去考虑是否接这个单？

[brainzhang]

@kkwkk 大体思路是这样的；具体实现可以智能一点；比如接单者的环境上传到平台，平台收到任务，会自动寻找合适的接单者进行匹配；

[brainzhang]

最后就是模型越全，设备算力越强，接单能力就越强，信用值就会提高，同时积分积累会更快；这样就会良性循环；

接单者就会自己去完善环境，尽可能多的配置最全的模型等等；

[Pteromyini]

@brainzhang #31 深度学习不存在“信用极好者”

[kkwkk]

@brainzhang 这样的话我觉得可以弄个解析模型接单者路径中模型功能。
然后还得有识别显卡的，因为有的大图得大显存才能弄

[brainzhang]

@Pteromyini 为什么呢？这个我不懂了；作为平台，我发现一个设备出图又快又好，不就是信用极好吗？

[haha512]

拆分是最大难点吧 。如果能保证很容易的拆分和分发任务，这个应该会挺有前景的

[shuianfendi6]

带宽不够，现在 PCIE 的带宽拷贝都不够，更不要提集群分布式了
众包推理到是可能，不过已经有了端侧推理

[Pteromyini]

@brainzhang #54 如果单纯评价时间是可以的，但是成像质量等其他指标并不好量化，而且具有随机性。

[pkoukk]

“Server 端可以将一个任务分配给多个 Client 端并行执行，然后将结果进行比对，以确保结果的准确性和一致性。”
很好奇这一点，完全一样的参数给模型，模型返回的数据也必定完全一致么？

另外，基于 client 比对，server 本身没有工作证明的话，有没有可能被 client 的垃圾提交淹没？
我在你的 server 上注册一万个 client ，无论你给我发什么任务，我都返回一张固定的 doge 。因为没有工作证明，你无法判断我有没有实际去跑模型。我的资源消耗量是极低的，我可以用非常低的成本淹没其它正常玩家的提交

[Pteromyini]

@brainzhang #54 作为推理这个方案是可行的，但是我不认为你的评价方式是合理的

[2n80HF9IV8d05L9v]

技术方案应该可行, 但是需求方面我觉得:
* 小模型用不上
* 大模型用不上
* 仅适用于, 穷且没人脉, 却又手里有一定规模数据的, 这个取交集应该很接近空集把..