这套垃圾配置训练模型可以吗

[lordofmetis]

第一次发帖，不知道是否发在合适的节点，如果发错了，还请见谅。

废话不多说，配置如下：

1. 主板：超微 X9SRL-F ，两个 PCIE 3.0 ✖️ 16 槽，若干个 PCIE 3.0 ✖️ 8 槽；
2. 显卡：英伟达 Tesla P40 ✖️ 2 + AMD GT650 亮机卡；
3. CPU：至强 E5-2680V2 ；
4. 内存：三星 DDR3 32G ✖️ 4 ；
5. 硬盘：随便；
6. 电源：挑个 1000W 以上的。

上面这样一套配置跑深度学习以及训练模型可以吗，有什么坑吗？ 提前谢谢大家！

[lifeOsDeveloper]

可以

[tap91624]

P40 半精度听说有点问题，可以提前看下自己对 FP16 要求高不高

[stimw]

没啥问题，我自己拿了张 4090 ，但是没 nvlink 所以双卡也没啥用了。
p40 就是性能太烂了。
有预算还是上魔改 22g 的 2080ti ，甚至 3090 。

[lordofmetis]

@lifeOsDeveloper 谢谢回复

[yummysakko]

这东西应该有集显的，不用亮机卡

[lordofmetis]

@tap91624 谢谢回复，想请教下一般在什么场景下会对 FP16 有较高的要求？也正是因为这个，之前一直在纠结到底是 P40 还是 P100 ，Reddit 上网友说如果是要 train 或者 fine tune 模型的话，P40 更合适，如果是 model inferencing 的话，那 P100 更合适些，不知道这是不是和半精度有关。

[lordofmetis]

@stimw 谢谢回复，魔改 2080ti 之前也考虑过，一同考虑过的还有魔改的 3060 12G 之类的，感觉配置起来会省心很多，不用搞外部散热，也不要转接线什么的，但是就怕魔改的用起来有这样那样的问题，网上很多人也不推荐魔改的，不知道实际情况到底咋样。

[hiphooray]

是打算训练啥样的模型？图像、视频、文字？

[tap91624]

@lordofmetis 我做推理多，推理用 fp16 多

[lordofmetis]

@yummysakko 谢谢回复，我再去研究下，之前问了 GPT4 ，说基本上 E5 系列的都是没有集显的，如果不用亮机卡那是最好了，我还能省个十几块钱呢（ doge

[Pteromyini]

@lordofmetis #6 绝大多数情况下 train 和 fine tune 过程更考验半精度，因为在训练过程中对于计算精读并不需要太多考量，每一步单独的计算都是简单计算

[lordofmetis]

@hiphooray 倒是还没有明确的想法，等配好了之后探索试试看吧，所以现在也不想花太多的钱。

[lordofmetis]

@tap91624 好的，学习了

[lordofmetis]

@Pteromyini 谢谢回复，又学到啦

[sujin190]

好奇这套多少币？

[ztmzzz]

这种服务器主板上有集成显卡的，不用亮机卡

[vickhan]

也想知道需要多少米，关键家里也要够大，要不然这声音也不小把

[echo1937]

别买 X9SRL-F ，早就停产了，都是店保几个月的货，还是 x79 平台的。
买个精粤华南的 x99 d3 大板吧，价格基本差不多，性能更好，还带三年保修，何乐而不为。

[xianqin]

同好奇多少币？
另外准备装到普通机箱里？

[seres]

图省钱，我选 e5+x99+2080ti 22g