你们有搞 gpu 算力平台的吗

[wangbin11]

• idc 的显卡租赁太贵了
• 用普通用户的显卡，去跑那些模型服务
• 相当于 pcdn 用存储和宽带，而你我得朋友你用用户的显卡

我想看看 V2EX 有作这方面的吗

[dayeye2006199]

我只能说，搞一堆 4090 做计算集群的，可能连 data sheet 都没读过。
数据中心卡为什么是数据中心卡，游戏卡为什么是游戏卡，都是有关键不同点的。

[yanest]

都是想当然的，以为一个机器插 8 个 4090 就能 8 倍算力了，赶超 h100 了

[l4ever]

搞了 6 块 4080 算吗?

[ETiV]

https://github.com/b4rtaz/distributed-llama

Run LLMs on weak devices or make powerful devices even more powerful by distributing the workload and dividing the RAM usage.

[stoneabc]

@dayeye2006199 4090 做推理用，多数场景完爆一堆数据中心卡…只能说老黄真是暴利

[wangbin11]

@all ，大佬们我说的是如何便宜的使用而不是说几倍算力注意审题

[tap91624]

pcie 带宽有限，都得上 nvlink ，家用卡做算力集群怎么可能这么简单

[GeekGao]

只有玩具意义，没有生产意义。

[doublebu]

带宽有限不太适合大模型。但是也有相关项目： https://stablehorde.net/

[totoro52]

io.net

[wangbin11]

@totoro52
@doublebu 牛哦，国内有没有，我想去谈合作

[totoro52]

@wangbin11 #11 国内不太清楚哦，这个平台目前不支持国内，会被租出去但不会给费用

[doublebu]

@wangbin11 国内不清楚，如果你是有算力的话，可以尝试在咸鱼租用。我朋友 2080ti 22g 的魔改卡租给出图的，好像是 9 块钱一天。

[kneo]

这种是咸鱼小作坊模式。

[neopenx]

ToC 做分布式算力，用户机器的稳定性和数据隐私都是问题。自己搞搞玩玩可以，出了事故就完蛋了

[cczh678]

有，在这里，提供 AI 训练平台提供 AI 训练推理的过程资源管理和效能服务； GPU 池化解决方案，保护 GPU 投资，让 GPU 共享，发挥最大效率；提供 AI 训练推理高性能存储资源池，同时也做 LLM 大模型一体机建设，基础设施和平台一体化交付，有端到端的 AI 基础设施解决方案，希望和您取的联系，加强合作。

[cczh678]

@wangbin11 我这边可能能帮上 OP 的忙。

[xxb]

有的，我就是相关的人

[dayeye2006199]

@stoneabc 啥完爆，推理这种暂且不论模型太大需要做分布式推理的，一上通讯游戏卡直接速度原地爆炸的。
就说完全不需要通讯的，资源分割和池化，mig vgpu 啥也不支持，利用率直接跌穿地板

[wangbin11]

@xxb 有没有兴趣加个好友聊聊认识下