16 年的电子垃圾到货🥵

[samar1tan]

四块 NVIDIA TESLA P4 想跑 Meta 的开源大模型 Llama （🦙 有同好吗

[GeekGao]

只能跑 LLaMA-7B

[kanepan19]

请教一下，用的什么板子能上 4 显卡？

[samar1tan]

@kanepan19 还在看，行是行的，具体型号到时候回你老哥

[6m7]

建议了解下超威系列的服务器主板，例如 x10 ，x11 这种的，尤其是 AMD 的 EPYC 平台
我有一张，超威的 intel 主板 x10dri ，7PCIE 插槽，但是通道比较少
而超威的 amd 主板，x11 之类的，8 条全通道 PCIE ，印象中是这样
海鲜市场里面也有很多选择，不管是二手的主板，还是超威的主机

[NoDataNoBB]

这不得上个服务器？风扇嗡嗡嗡的那种

[Regened]

@6m7
x10x11 偏贵，小黄鱼上现在联想 RD450 拆机双路才三四百，普通 E-atx 版型的
Epyc 通道是多，但架不住主板贵，通道齐全的基本都还在 2k+，低于 2k 都是服务器异型板普通机箱装不了

[Regened]

不太清楚跑 llm 模型对核心和内存大概是什么要求，不过既然捡 P4 了应该也不会有太高要求

如果只要 PCIe 通道多点的话就 C612 平台，联想 RD450 主板 300 ，E5v4 几十块

要考虑以后小升级的可以看新一点的 3647 平台，6 通道内存，pcie 也更多，cpu 现在也便宜了，还有比较偏门的澜起 cpu
不介意服务器噪音的话，浪潮 5212m5 现在很便宜，支持 4 条 x16 ，准系统 1k 出头