本地运行 llama3.1 405B 需要什么样配置的机器？

[niceTeen84]

[xtreme1]

exo https://github.com/exo-explore/exo + 192G MacStudio x2

[yinmin]

together 、fireworks 、openrouter 上都有已部署的 llama3.1 405B ，我用了感觉还不如 qwen2 72B ，根本没法和 gpt-4o 、claude 3.5 sonnet 比拼。

[445141126]

@yinmin 是用中文吗, llama 中文非常拉跨

[antiblahblah]

@xtreme1 这个配置跑起来什么速度？多少个 token/秒？

[antiblahblah]

@xtreme1 为什么要 x2 ？