如何组装一台能跑大模型的机器。

2024-02-20 15:18:11 +08:00
BenchWidth  BenchWidth

我想组装一台能跑大模型的电脑,但是我个人在以前只有配置个人电脑的经验。对 AI 这一方面的配置不太了解,所以来请教一下各位。

需求:

1 、主要想运行 text-generation-webui 和 stable-diffusion-webui 两个可以不需要并行运行。

2 、希望可以运行 llama 2 的 70B/13B 版本。

至于要配的标准的话,可以是类似我们家用电脑的机箱形式,也可以是架在机架上的服务器。

没有费用上限,也不需要太离谱的配置。

因为是尝试搭建所以费用暂时最好在 2w 左右,当然越低越好,后期会进行升级配置。

暂时能承受住同时 10 个人左右使用就可以了。

2326 次点击
所在节点   硬件  硬件
8 条回复
RichardML
RichardML
2024-02-20 17:06:12 +08:00
我自己用的 2080ti ,SD-webui 多人同时使用显存很重要,可以找找二手的大显存专业卡,10 人同时使用的话估计要接近百 G 显存了,主机的内存也不能小,防止多人同时加载模型的时候有瓶颈。综合考虑出图速度和显存大小,2080ti 改 22G 显存的是性价比最高的。
mickerwx
mickerwx
2024-02-20 17:54:27 +08:00
你这个需求主要就是针对于显卡需求 如果不怕吵 选择刀片服务器 怕吵就选择塔式服务器 然后就是显卡的选择 有钱就上 4090 测试过 4090 的单位性价比是最高的 就是价格/性能 如果只是为了推理 慢一点也能接受的话 像 p40 24G v100 16G 都可以选择
mickerwx
mickerwx
2024-02-20 17:55:53 +08:00
忘了看 你需要 10 个人同时使用 是只推理还是需要跑模型 只推理建议选择 p40 就行了 主要是便宜 慢点也能接受 其他的卡成本很高
winglight2016
winglight2016
2024-02-20 17:58:26 +08:00
2w 只能配个 4080 的机器了,10 人并发是不可能的,搞个排队系统吧,也能凑合了
mickerwx
mickerwx
2024-02-20 18:01:25 +08:00
text-generation-webui 和 stable-diffusion-webui 两个不太了解

关于 llma2 只推理

全精度 llama2 7B 最低显存要求:28GB
全精度 llama2 13B 最低显存要求:52GB
全精度 llama2 70B 最低显存要求:280GB

16 精度 llama2 7B 预测最低显存要求:14GB
16 精度 llama2 13B 预测最低显存要求:26GB
16 精度 llama2 70B 预测最低显存要求:140GB

8 精度 llama2 7B 预测最低显存要求:7GB
8 精度 llama2 13B 预测最低显存要求:13GB
8 精度 llama2 70B 预测最低显存要求:70GB

4 精度 llama2 7B 预测最低显存要求:3.5GB
4 精度 llama2 13B 预测最低显存要求:6.5GB
4 精度 llama2 70B 预测最低显存要求:35GB
chiu
chiu
2024-02-20 22:31:59 +08:00
je11yfish
je11yfish
2024-02-21 18:36:54 +08:00
建议先体验云端 API ,消费个 1-2k RMB 的 token 钱了,还有需要,再去配机器,Llama 2 各个云厂商都提供 api 的。
sd 不熟悉,可以考虑类似操作。

多数人,对大模型都是三分钟热度……
ModerRAS
ModerRAS
2024-02-24 19:02:33 +08:00
一个显卡的话家用的也就同时跑一份模型,这种环境只可能是同时一个人用,你要同时 10 并发需要 10 个显卡。
低配环境可以用 amd 的 8845h ,等等应该就能出小主机了,配个大内存用他自己的 npu 跑就是,虽然不快但是胜在便宜,三四千一套。这种环境下你配个 96G 内存应该是能跑 llama 70b 的 int8 量化版本的。
其他环境家用不要考虑 70B ,那是 H100 干的活

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1016887

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX