你们有搞 gpu 算力平台的吗

[wangbin11]

• idc 的显卡租赁太贵了
• 用普通用户的显卡，去跑那些模型服务
• 相当于 pcdn 用存储和宽带，而你我得朋友你用用户的显卡

我想看看 V2EX 有作这方面的吗

[dayeye2006199]

我只能说，搞一堆 4090 做计算集群的，可能连 data sheet 都没读过。
数据中心卡为什么是数据中心卡，游戏卡为什么是游戏卡，都是有关键不同点的。

[yanest]

都是想当然的，以为一个机器插 8 个 4090 就能 8 倍算力了，赶超 h100 了

[l4ever]

搞了 6 块 4080 算吗?

[ETiV]

https://github.com/b4rtaz/distributed-llama

Run LLMs on weak devices or make powerful devices even more powerful by distributing the workload and dividing the RAM usage.

[stoneabc]

@dayeye2006199 4090 做推理用，多数场景完爆一堆数据中心卡…只能说老黄真是暴利

[wangbin11]

@all ，大佬们我说的是如何便宜的使用而不是说几倍算力注意审题

[tap91624]

pcie 带宽有限，都得上 nvlink ，家用卡做算力集群怎么可能这么简单

[GeekGao]

只有玩具意义，没有生产意义。

[doublebu]

带宽有限不太适合大模型。但是也有相关项目： https://stablehorde.net/

[totoro52]

io.net

[wangbin11]

@totoro52
@doublebu 牛哦，国内有没有，我想去谈合作

[totoro52]

@wangbin11 #11 国内不太清楚哦，这个平台目前不支持国内，会被租出去但不会给费用

[doublebu]

@wangbin11 国内不清楚，如果你是有算力的话，可以尝试在咸鱼租用。我朋友 2080ti 22g 的魔改卡租给出图的，好像是 9 块钱一天。

[kneo]

这种是咸鱼小作坊模式。

[neopenx]

ToC 做分布式算力，用户机器的稳定性和数据隐私都是问题。自己搞搞玩玩可以，出了事故就完蛋了

[cczh678]

有，在这里，提供 AI 训练平台提供 AI 训练推理的过程资源管理和效能服务； GPU 池化解决方案，保护 GPU 投资，让 GPU 共享，发挥最大效率；提供 AI 训练推理高性能存储资源池，同时也做 LLM 大模型一体机建设，基础设施和平台一体化交付，有端到端的 AI 基础设施解决方案，希望和您取的联系，加强合作。

[cczh678]

@wangbin11 我这边可能能帮上 OP 的忙。

[xxb]

有的，我就是相关的人

[dayeye2006199]

@stoneabc 啥完爆，推理这种暂且不论模型太大需要做分布式推理的，一上通讯游戏卡直接速度原地爆炸的。
就说完全不需要通讯的，资源分割和池化，mig vgpu 啥也不支持，利用率直接跌穿地板

[wangbin11]

@xxb 有没有兴趣加个好友聊聊认识下

[s2555]

我怎么听着好像挖坑那一套，发币给报酬

[GeruzoniAnsasu]

你们想做平台还是采购算力，我这有个国内搞这些的群

[streamrx]

搞算力是要很中性化拼成本拼效率的， 分散的 gpu 哪些电脑稳定性 网速根本就跟不上。rndr io.net akt 就是搞去中心化算力的 炒作价值拉满 实际意义根本不大。 但是这些币值得买 ai 在币圈太牛逼了

[PbCopy111]

没看到你的问题呀，你问什么呢？

[wangbin11]

@all ，感谢大家的回复，我加了一些人，也了解了，感谢哈

[wangbin11]

@streamrx 大佬说的很中肯，那些投资人就喜欢投资这种短平快

[vincent7245]

我两块捡破烂的 P40 照样搞的热火朝天

[kennylam777]

不如先看看 https://vast.ai

但最少要求是可靠的 Internet, 家中的就算了, 礦場一類的規模還是有機用的

[shijingshijing]

你猜为什么 H100 这种都要不计成本的上 HBM ？为什么要用昂贵的 NVLink 而不是 PCI-E ？ NVIDIA 为什么要花大价钱收购一个做数据中心网络的 Mellanox ？

[chesha1]

@dayeye2006199 太想当然了，有的公有云也有游戏卡可以租，对于推理来说性价比够高，数据中心里不全是计算卡

[dayeye2006199]

@chesha1 您这才是在想当然把。。nvidia 的 EULA 您都没了解过把？消费级显卡不是不允许在数据中心环境下使用的，你这说的云都是什么野鸡云

[chesha1]

@dayeye2006199 那你去向 NVIDIA 举报吧，百度云里就有不少 3090

[dayeye2006199]

@chesha1 请不要散布不实信息，百度云 GPU 全系都是数据中心系列的 tesla 的卡

[wlm907091813]

有，我们在成都有算力池，消费级别的有 3090 ，4090 那些，企业级别的就是 A100 等

[chesha1]

@dayeye2006199 百度云 GN3 就有 3090 的型号，现在创建新的只有 V100 T4 这些卡了，但是还有存量的 3090

[stoneabc]

@dayeye2006199 我说的就是普通模型的推理，搞分布式推理当然不行。但就我了解到的，云上目前大部分推理资源都还是用于普通模型推理。另外 vgpu 、MIG 虽然不支持，但各云厂商都有自己的切分技术，cGPU qGPU ，想提高利用率的方法多了去了。

[stoneabc]

@dayeye2006199 你也太理想化了…国内几个厂商都有消费级卡，你想举报可以去 NV 举报，看它管不管：）

[234ygg]

大项目的话完全不可行，别说一堆乱七八糟的显卡了，就算是正经服务商，全用 a100 都能导致各种不一致。cpu 超算也有类似问题。

冗余度接受度极高的小项目也许可行。。。其实这也就是未来的 edge computing ，现在很多家都在做。。。（但此游戏的核心是储能和超低延迟，不是算力）
分布式计算当年 seti 和 folding 项目早就玩过了，上个世纪就发现几乎各个环节都有无法规避的问题，其实 btc 也是那帮人后来搞出来的。（看得懂的估计不多，80 年代的大师应该知道我说的是什么）

[Satansickle]

@wangbin11 同感兴趣，拉个群聊呗 eHN3d3BwcA==

[wangbin11]

@Satansickle 没有咯，看看而已