如何组装一台能跑大模型的机器。

[BenchWidth]

我想组装一台能跑大模型的电脑，但是我个人在以前只有配置个人电脑的经验。对 AI 这一方面的配置不太了解，所以来请教一下各位。

需求：

1 、主要想运行 text-generation-webui 和 stable-diffusion-webui 两个可以不需要并行运行。

2 、希望可以运行 llama 2 的 70B/13B 版本。

至于要配的标准的话，可以是类似我们家用电脑的机箱形式，也可以是架在机架上的服务器。

没有费用上限，也不需要太离谱的配置。

因为是尝试搭建所以费用暂时最好在 2w 左右，当然越低越好，后期会进行升级配置。

暂时能承受住同时 10 个人左右使用就可以了。

[RichardML]

我自己用的 2080ti ，SD-webui 多人同时使用显存很重要，可以找找二手的大显存专业卡，10 人同时使用的话估计要接近百 G 显存了，主机的内存也不能小，防止多人同时加载模型的时候有瓶颈。综合考虑出图速度和显存大小，2080ti 改 22G 显存的是性价比最高的。

[mickerwx]

你这个需求主要就是针对于显卡需求 如果不怕吵 选择刀片服务器 怕吵就选择塔式服务器 然后就是显卡的选择 有钱就上 4090 测试过 4090 的单位性价比是最高的 就是价格/性能 如果只是为了推理 慢一点也能接受的话 像 p40 24G v100 16G 都可以选择

[mickerwx]

忘了看 你需要 10 个人同时使用 是只推理还是需要跑模型 只推理建议选择 p40 就行了 主要是便宜 慢点也能接受 其他的卡成本很高

[winglight2016]

2w 只能配个 4080 的机器了，10 人并发是不可能的，搞个排队系统吧，也能凑合了

[mickerwx]

text-generation-webui 和 stable-diffusion-webui 两个不太了解

关于 llma2 只推理

全精度 llama2 7B 最低显存要求：28GB
全精度 llama2 13B 最低显存要求：52GB
全精度 llama2 70B 最低显存要求：280GB

16 精度 llama2 7B 预测最低显存要求：14GB
16 精度 llama2 13B 预测最低显存要求：26GB
16 精度 llama2 70B 预测最低显存要求：140GB

8 精度 llama2 7B 预测最低显存要求：7GB
8 精度 llama2 13B 预测最低显存要求：13GB
8 精度 llama2 70B 预测最低显存要求：70GB

4 精度 llama2 7B 预测最低显存要求：3.5GB
4 精度 llama2 13B 预测最低显存要求：6.5GB
4 精度 llama2 70B 预测最低显存要求：35GB

[chiu]

https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/

[je11yfish]

建议先体验云端 API ，消费个 1-2k RMB 的 token 钱了，还有需要，再去配机器，Llama 2 各个云厂商都提供 api 的。
sd 不熟悉，可以考虑类似操作。

多数人，对大模型都是三分钟热度……

[ModerRAS]

一个显卡的话家用的也就同时跑一份模型，这种环境只可能是同时一个人用，你要同时 10 并发需要 10 个显卡。
低配环境可以用 amd 的 8845h ，等等应该就能出小主机了，配个大内存用他自己的 npu 跑就是，虽然不快但是胜在便宜，三四千一套。这种环境下你配个 96G 内存应该是能跑 llama 70b 的 int8 量化版本的。
其他环境家用不要考虑 70B ，那是 H100 干的活