推荐一套深度学习服务器配置

[JiangNanLong]

现在甲方要给我们买一个服务器用于跑深度学习算法，但是我不太懂这方面的配置，有没有懂的老哥给写一套配置，尽可能往高了提

[poopoopoopoo]

Dell PowerEdge T550
英特尔 6348 *2
32G DDR4 ECC RDIMM 3200 *4
NVIDIA RTX A6000 48G *2
3.84T 固态 *4
1400W 电源

[poopoopoopoo]

京东找一家店 说要求 配置单马上发过来了

[RangerWolf]

32G 我感觉会不太够~ 稍微多跑一点数据 128 都不一定压得住
看具体需求

[RangerWolf]

啊 抱歉 我没看到后面的 *4 我傻了

[iorilu]

@poopoopoopoo 这套多少钱

现在大模型火爆啊, 本地部署大模型已经流行了

[JiangNanLong]

@poopoopoopoo 你太机智了 老哥

[iorilu]

我打算配一台丐版 AI 服务器, 配 4 个 4060 16G 的, 凑合玩玩

有人这么配的吗, 说说经验啊

[kneo]

预算多少啊？千万还是百万？

[Yuhyeong]

建议单卡显存大一些，不是所有模型都适合分布式的，可以考虑 3090
@iorilu

[coinbase]

这才是服务器配置
服务器主板: S8030GM4NE (PCIEx4 * 5)
CPU: AMD EPYC 9654
显卡: 顶级 NVDIA A200
内存: 三星服务器 256GB
硬盘: SN640 8TB

这一套下来，基本上可以卖辆 30 万的车了。