跑 Qwen2.5 72B 8 位量化的电脑配置

[WinG]

请教一下，跑 Qwen2.5 72B 8 位量化的电脑配置，内存需要多少？

跑起来要几张 4090 ？，最快能生成几个 token 每秒呢？

[jifengg]

有个粗略估计，int8 的，正好是 1B=1GB ，所以你这个需要至少 72G 的显存，注意是显存，而且是至少。
内存要求不大，但是 32G 应该也是至少的。