使用 llama3:70b 本地化部署， 100 人左右的并发，大概需要多少块 4090 才能满足？

[leeum]

有没有实操过本地化部署开源 llm 的老哥？这个需要大概多少的算力？

[timeance]

你先测一下大概每秒有多少 token ，然后换算一下就大概知道了

[hi2hi]

这，为什么还想着用 4090 呢？找论坛看看，用专业卡跑

[levn]

云 gpu 服务器租一天测试一下不就知道了

[kenvix]

根据我用 VLLM 部署的结论，4090 的显存不够用

[herozzm]

最少 2 块 4090 能基本跑起来，如果是 100 并发，就不太清楚了

[murmur]

如果没有精挑的必要，建议一个公司租几个 gpt4 或者文心一言，使用成本和部署难度比自己 llama 简单太多

[herozzm]

@murmur 本地模型远比 api 省钱

[iOCZS]

100 并发。。。人很多啊

[t41372]

有那种 host 像 llama3 70b 这种开源模型的 serverless api 接口，比 open AI 的要便宜很多，速度也会比自己部署一台要快很多。我知道 groq 上面 llama3 70b 的价格是差不多每一百万个 token 0.5 刀左右的样子，不知道会不会比自部署便宜。
我记得像是 ollama 这种好象是还不支持并发的，所以很多人同时用体验可能不会太好。

[echoless]

ollama 下个版本才支持并发

[lovestudykid]

自建的话要保证并发，可能有很长闲置时间

[tap91624]

4090 没 nvlink 多卡会比单卡慢的

[R4rvZ6agNVWr56V0]

4090 跑 70B 的模型非常吃力，直接上 A100 吧

[msn1983aa]

挑战老黄的刀法？ a100 上起才行

[whileFalse]

确认是有 100 并发，还是你们有 100 个要使用的人？

[gaobh]

你去换算，1 秒多少人用，大概要出多少 token ，看一下

[winglight2016]

30G 的 llm ，显存至少 40g 吧。lz 说清楚到底是 100 个用户，还是 100 个并发，如果是后者，为什么不用 gpt-4 ？毕竟，这并发量私有加自建投资太大，lz 提到 4090 ，大概率没什么 AI 经验，还是上云靠谱。

[lizhisty]

@echoless 下个版本啥时候发布啊

[lizhisty]

@lovestudykid 闲置时间是什么意思

[lizhisty]

@winglight2016 大哥，100 个并发是不是就吃力了，1 张 A100 能支持 70b 的一秒 10w token 吗