这套垃圾配置训练模型可以吗

[lordofmetis]

第一次发帖，不知道是否发在合适的节点，如果发错了，还请见谅。

废话不多说，配置如下：

1. 主板：超微 X9SRL-F ，两个 PCIE 3.0 ✖️ 16 槽，若干个 PCIE 3.0 ✖️ 8 槽；
2. 显卡：英伟达 Tesla P40 ✖️ 2 + AMD GT650 亮机卡；
3. CPU：至强 E5-2680V2 ；
4. 内存：三星 DDR3 32G ✖️ 4 ；
5. 硬盘：随便；
6. 电源：挑个 1000W 以上的。

上面这样一套配置跑深度学习以及训练模型可以吗，有什么坑吗？ 提前谢谢大家！

[ntedshen]

@lordofmetis ipmi 卡，不是 cpu 本身集成显卡。。。
你看板子上有 vga 的那就是有集显（板载）

[lordofmetis]

@sujin190 三千出头一些

[lordofmetis]

@ztmzzz 谢谢，前面又问了下主板卖家，说确实不用亮机卡

[lordofmetis]

@vickhan 初步看下来，全包的价格是三千出头一些。我考虑用 ATX 机箱，应该会安静些吧，机架式的问下来都说太吵了。。

[lordofmetis]

@echo1937 哈哈 X99 我也考虑过，但是最后没有选是因为我想要量大管饱的 DDR3 内存条，但 X99 不支持；而且超微的板子都说用着还行，而精粤华南听说是寨板啥的怕有问题，显卡的卖家也让我用超微的而不要用华南的。X9SRL-F 这块板子还是 GPT-4 推荐我的，确实网上卖这个的店家也不多了。

[lordofmetis]

@xianqin 价格三千多一些；准备装到普通机箱里，找了个能装 40 厘米长度显卡的 ATX 机箱。

[lordofmetis]

@seres 2080ti 22g 也要两千五了，而两张 p40 加起来就一千八不到。不过真诚发问，魔改的 2080ti 真的好吗？

[lordofmetis]

@ntedshen 谢谢，我再去查查看

[BeautifulSoup]

@lordofmetis P40 真的不建议买，现在所有加速的框架和方法至少都是安培架构起步。P40 除了显存大没有任何优点； 2080Ti22G 版本取决于卖家的手艺，改不好掉显存非常头疼。

[lithiumii]

魔改显存可能还是能用的，我笔记本 2060 魔改了 12G ，跑了大半年了还是挺稳定的

[lordofmetis]

@BeautifulSoup 谢谢回复，其实我也挺担心 P40 太老了，真的要跑什么模型发现版本用不了啥的，这也是我迟迟没有下手的原因。那或者老老实实 4060ti 16g 先入个门？

[BeautifulSoup]

@lordofmetis 你要训什么模型。如果是大模型，上面说的这几个都不是好方案；如果只是自己随便玩玩，最近的 40super 系列可以看看。一点建议是预算充足的话优先买显存大的。12G 以下的卡训练模型非常鸡肋

[lordofmetis]

@lithiumii 谢谢回复，我也再来研究下魔改显卡:)

[gzlock]

我在用 2080ti 22g 300A 核心 全三星显存 金属背板 三风扇，到手用 OCCT 软件跑显存测试 1 个小时没有错误就点收货了。
买来用 sd 来跑图，但还是馋 4090

[lordofmetis]

@BeautifulSoup 谢谢，能麻烦您再多说几句不建议买 P40 的理由吗？

[lordofmetis]

@gzlock 哈哈，想买 4090 跑 sd 吗？

[lordofmetis]

@lordofmetis 我记错了

“From a crosspost of this same question, someone helpfully pointed out that the memory bandwidth benefits of the P100 aren't all that helpful once the model is loaded, at least when inferencing. For training and fine tuning, it matters more. This explains why the P100 is geared towards training and the P40 towards inferencing, and so the larger vram pool is probably the way to go if like me, you're mostly planning to use existing models. Hope this helps.”

[gzlock]

@lordofmetis #36 4090 毕竟 1 万 6 个 cuda ，2080ti 跟 4060ti 一样就 4 千多个 cuda ，怎么说也能快 3 倍+吧

[esile]

@echo1937 山寨非常容易坏还是大厂好

[echo1937]

@lordofmetis x99 是 d3 和 d4 内存都有，我就在用

@esile 寨板我公司好多人都在用，买来当机器学习或者 k8s 实验机的，精粤和华南的，没坏过。