老黄新出的这台设备有点意思，感觉目前实验室、小公司本地部署推理模型的最优解了

[yishibakaien]

老黄新出的这台设备有点意思，感觉目前实验室、小公司本地部署推理模型的最优解了，1Pb FP4 算力，约等于 4090 ，给了 128G 通用显存，支持多台互联，带宽可能只有 512gb 。

关键是只要 3000 刀，不要盯着游戏卡了。

https://www.nvidia.com/en-us/project-digits/

[yishibakaien]

@pakro888 噢噢 那看起来不够，要 4 台，目前还不知道支不支持 4 台互联

[lovestudykid]

瓶颈除了显存，还有显存带宽。给你一秒 5 个 token 写代码，你等得起吗？

[twinsant]

想买

[HelixG]

估计这玩意还需要几年才能成熟，什么时候能单机跑 500b 才有的谈