实验室想采购个深度学习工作站，候选采购商给了个配置建议，菜鸡不是很懂，希望大佬们给个建议

[xwander]

实验室情况是:

1.人很多，并且目前没有旧的可用，好像是原来有但出问题了，我之前帮师兄跑实验都是自费买的 GPU 租赁服务，泪目。

2.主要的计算任务是 NLP 方向的。

3.GPU 服务器计划放入空调房，噪音和产热问题好像并不用太过担心。

4.预算方面不能一次性超 10 万，如果存储空间不够，可以后续添加。

---

楼上实验室给我推荐的采购商的建议是：

CPU:2* 英特尔 XEON E5-2680V4/14 核 /28 线程 /2.4GHz-3.3GHz

内存：6* 32GB R-ECC DDR4 2666MHz 服务器内存（共有 24 个内存插槽，剩余 18 个）

硬盘:960G SATA 2.5 寸 企业级固态硬盘+4TB SATA 7.2K 3.5 寸 企业级机械硬盘（共有 24 个硬盘插槽，剩余 22 个）

电源:2000W 2+2 钛金级冗余电源，最大支持 8 块 GPU

显卡：4*NVIDIA Geforce RTX 2080Ti 11G （共有 8 个 GPU 插槽，剩余 4 个）

---

本人的一些不成熟的想法：SSD 是不是该上 nvme （或 M.2 的 nvme ），速度才是重点，空间是其次？以后有其他预算是扩容还是另外选购新机器？

[twl007]

我是按照你们以后升级 GPU 到 8 卡算的 那个电源现在可以用 但以后升级潜力堪忧就是了

[weiziyan]

为什么要买老至强？不需要多路就买 Xeon W，需要的话就买 Xeon Scalable

[nnqijiu]

显卡才是最重要的，内存没必要用那么大

[Porphet]

@abcdabcd987 现在 nlp 各种模型的趋势就是越大越好，11g 能用，但是对大模型就得想办法分到多块卡上了，对科研人员很不友好。所以推荐 RTX8000，😂

[madeye]

主要做 NLP 的话，显存肯定是不够的。

以 BERT-large 为例，如果你想要本地 fine-tune 的话，12G 显存差不多对应 batch size 12，这个 batch size 太小因而很难收敛。

[NCZkevin]

硬盘 NLP 的话没必要，分区的时候 home 多分点，否则以后会后悔的。我们实验室配置和这差不多，主要是显卡最好用显存大的，要不然跑 bert 有点吃力。

[sl0000]

我个人用的 c621 准系统
supermicro 7049gp-trt ¥：11000
亚马逊特价买的，这个自带双钛金 2100w 冗余电源，8 * sata 硬盘 raid
2 * intel gold 6244 es 2.8ghz 工程样品 ¥：1800 工程样品性价比比较高
4TB wd blue ssd ¥：3500
2 * 8T sata hgst 最强空气盘 ¥：2400
4*32GB ecc 2993 ¥：3200

[sl0000]

大船货 intel 200G 傲腾 m.2 ¥：2000 主板唯一的一个 m.2 接口插的这个作系统盘

[geniussoft]

听着不明型号的企业级固态，感觉就是骗钱的或者拆机翻新的。

机械盘上 UltraStar HC520/530，预算不紧张可以富裕一点。
另外个人认为主硬盘还是尽量 NVMe （ PCIe 也行）。

处理器确实也有嫌疑。

[lsylsy2]

有资质的对公供应商，洋垃圾回收什么的可能性还是不大
但确实会用几年前的库存款式，在合理合法的范围内缩水

[chizuo]

@superlc 嗷，对于数据集我一般是整个 load 到内存的，而不是到一个 batch 了，在从硬盘 read，这样会很慢

[fengdra]

我们以前也是买了几台四卡机器，但是据我观察，大部分人每次都只用一张卡。所以我觉得不如把一台 HEDT+四卡换成两台消费级平台+双卡，这样划算很多