老黄新出的这台设备有点意思,感觉目前实验室、小公司本地部署推理模型的最优解了

1 天前
 yishibakaien
老黄新出的这台设备有点意思,感觉目前实验室、小公司本地部署推理模型的最优解了,1Pb FP4 算力,约等于 4090 ,给了 128G 通用显存,支持多台互联,带宽可能只有 512gb 。

关键是只要 3000 刀,不要盯着游戏卡了。

https://www.nvidia.com/en-us/project-digits/
2344 次点击
所在节点    硬件
24 条回复
min
1 天前
LPDDR5X...
pigdragon
1 天前
虽然内存低阶但是好歹大呀
bigtear
1 天前
之前的开发者套件配置没这个高,受限于带宽问题速度很慢...
这种小主机最大的问题是统一内存的带宽,不过 DIGITS 都标注了高带宽,希望能有惊喜。
yishibakaien
1 天前
@min 够了,主要是够大,MOE 出来后,算力不是那么吃紧,瓶颈都在显存,很多 4090 改 48g 的,一块淘汰的 A100 80g 都要到 1 万美刀
qxmqh
1 天前
说真的 我挺想要的。
mumbler
1 天前
国内起码卖到 6 万以上
airportIllIl
1 天前
国内原价买的几率太小了,这种官方指导价不具备现实意义
iceking112
1 天前
很够用了,走上 Apple 的道路
shunia
1 天前
会不会跟显卡一样,最后其实是宏基 digits ,七彩虹 digits ?
jhytxy
1 天前
卧槽。以后家里除了软路由还得加上一个算力宝?
yishibakaien
1 天前
@mumbler 这个没有制裁吧,随便买
yishibakaien
1 天前
@airportIllIl 不会的,这个算力应该没有在制裁范围内,我感觉这个机器老黄的用意是降低门槛,让中小企业也可以参与进英伟达 ai 体系,完善生态,巩固护城河
yishibakaien
1 天前
@shunia 宏碁,蟹蟹你
cbythe434
1 天前
@yishibakaien 比大师门徒吗
hadoop
1 天前
国内买不到吧
ShawnSky
1 天前
整个 pcie 、支持显示接口;如果还能打游戏,该多好哈哈哈哈哈
loak
1 天前
arm+linux 主机。感觉少了一半用户了。
HelixG
1 天前
两块都装不下 deepseek v3 ,感觉很悬
yishibakaien
1 天前
@HelixG 两个 5 万块,deepseek v3 670B ,可以部署吧,门槛降低了很多很多
pakro888
1 天前
@yishibakaien #19 In addition, using NVIDIA ConnectX® networking, two Project DIGITS AI supercomputers can be linked to run up to 405-billion-parameter models.
两台最多 4050 亿参数,运行不了吧

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1103438

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX