我想组装一台能跑大模型的电脑,但是我个人在以前只有配置个人电脑的经验。对 AI 这一方面的配置不太了解,所以来请教一下各位。
需求:
1 、主要想运行 text-generation-webui 和 stable-diffusion-webui 两个可以不需要并行运行。
2 、希望可以运行 llama 2 的 70B/13B 版本。
至于要配的标准的话,可以是类似我们家用电脑的机箱形式,也可以是架在机架上的服务器。
没有费用上限,也不需要太离谱的配置。
因为是尝试搭建所以费用暂时最好在 2w 左右,当然越低越好,后期会进行升级配置。
暂时能承受住同时 10 个人左右使用就可以了。
1
RichardML 309 天前
我自己用的 2080ti ,SD-webui 多人同时使用显存很重要,可以找找二手的大显存专业卡,10 人同时使用的话估计要接近百 G 显存了,主机的内存也不能小,防止多人同时加载模型的时候有瓶颈。综合考虑出图速度和显存大小,2080ti 改 22G 显存的是性价比最高的。
|
2
mickerwx 309 天前
你这个需求主要就是针对于显卡需求 如果不怕吵 选择刀片服务器 怕吵就选择塔式服务器 然后就是显卡的选择 有钱就上 4090 测试过 4090 的单位性价比是最高的 就是价格/性能 如果只是为了推理 慢一点也能接受的话 像 p40 24G v100 16G 都可以选择
|
3
mickerwx 309 天前
忘了看 你需要 10 个人同时使用 是只推理还是需要跑模型 只推理建议选择 p40 就行了 主要是便宜 慢点也能接受 其他的卡成本很高
|
4
winglight2016 309 天前
2w 只能配个 4080 的机器了,10 人并发是不可能的,搞个排队系统吧,也能凑合了
|
5
mickerwx 309 天前
text-generation-webui 和 stable-diffusion-webui 两个不太了解
关于 llma2 只推理 全精度 llama2 7B 最低显存要求:28GB 全精度 llama2 13B 最低显存要求:52GB 全精度 llama2 70B 最低显存要求:280GB 16 精度 llama2 7B 预测最低显存要求:14GB 16 精度 llama2 13B 预测最低显存要求:26GB 16 精度 llama2 70B 预测最低显存要求:140GB 8 精度 llama2 7B 预测最低显存要求:7GB 8 精度 llama2 13B 预测最低显存要求:13GB 8 精度 llama2 70B 预测最低显存要求:70GB 4 精度 llama2 7B 预测最低显存要求:3.5GB 4 精度 llama2 13B 预测最低显存要求:6.5GB 4 精度 llama2 70B 预测最低显存要求:35GB |
7
je11yfish 308 天前
建议先体验云端 API ,消费个 1-2k RMB 的 token 钱了,还有需要,再去配机器,Llama 2 各个云厂商都提供 api 的。
sd 不熟悉,可以考虑类似操作。 多数人,对大模型都是三分钟热度…… |
8
ModerRAS 305 天前 via iPhone
一个显卡的话家用的也就同时跑一份模型,这种环境只可能是同时一个人用,你要同时 10 并发需要 10 个显卡。
低配环境可以用 amd 的 8845h ,等等应该就能出小主机了,配个大内存用他自己的 npu 跑就是,虽然不快但是胜在便宜,三四千一套。这种环境下你配个 96G 内存应该是能跑 llama 70b 的 int8 量化版本的。 其他环境家用不要考虑 70B ,那是 H100 干的活 |