配置 Ai 工作站， 4 块 3090 还是 2 块 4090？

[researchnoob]

最近需要采购 AI 工作站供团队科研使用，主要是用于深度学习。

cpu 准备配置 i9 14900k ，192g 内存，这些 v 友有什么改动建议吗，想过 xeon 处理器，但是价格飙的太高了。

主要是显卡拿不准，是 4 块 3090 24g 还是 2 块 4090 24g ，这两个价格差不多。3090 的 nvlink 技术我是知道的，但是目前我确实还没遇到过能吃 24g 显存以上的训练。不过不齐以后要玩玩大模型，另一个方面看似乎 4090 的训练效率要高不少，大家有什么推荐吗？

亦或大家有什么成熟的方案，希望不吝赐教

[osilinka]

要看你想玩的模型大小，如果是 70b 的话，4 块 3090 24g 比两块 4090 要好很多吧

[EgbertW]

或者考虑下 A6000 ？

[GPLer]

1 块 4090 24G ，两块 3090 ti 24G ，四块 2080ti 22G
然后 CPU 如果不要求单核性能可以考虑下 epyc

[cmlz]

14900K ？蓝屏警告⚠️

[digimoon]

@GPLer 22g 的 2080ti ？

[GPLer]

@digimoon 魔改版本，显存颗粒 1G 改 2G

[egen]

大模型 4 x 24 都有点捉襟见肘，网友都不少组 2080Ti 22 x 8 的。4 卡跑 72b 模型大概只有 15k 左右上下文，连 32k 都跑不出来。
不玩大模型按你们自己的需求来吧。

[Bluecoda]

我站 3090 ，毕竟自己跑，推理占更多，显存足够大你就有更多的选择，显存大就是王道

[rming]

据说 2080Ti 最大的问题是太吵。。

[tommydong]

@EgbertW 同意这个看法

[codersun123]

你这个工作站需要分配虚拟环境给不同的人使用的吗？如果是分配的话那就建议 3090 ，至少可以多几个人来使用

[wsbqdyhm]

楼主决定了吗？看看最新的配置如何？

[researchnoob]

@wsbqdyhm 还没决定，但是初步考虑因为我们这机子共享的人数有限，加上训练速度还是挺重要的，准备采购一个包含 2 张 4090 的新机子，然后外加一张 3090 升级一下以前的机子，CPU 等配置和我标题说的一样。

[wsbqdyhm]

@researchnoob 很多版放不了两个显卡，

[researchnoob]

@wsbqdyhm Z790 应该可以，准备选这个