先说前提结论:M4pro 你买的是 GPU 和 **显存**,NPU 和 CPU 都不是很重要(用不上/性能溢出)
这是平时中低负载时的状态
这是本地运行 qwen:32b LLM 的状态,可以看到有 24g 的 wired ram ,这些是分给 gpu 用的
我用同时跑多个 LLM 的方式测试过内存压力,虽说 mac 的 swap 性能很强,但当然是还是无法完全取代 ram 的,当我的显存使用达到 40G 的时候系统卡死,看门狗 kill 掉了我的 session ,最后看到的总 ram 占用是 50g 左右
现在 pytorch 反正只适配了 apple silicon 的 gpu ,所有相关应用使用的是 Metal Performance Shaders (MPS) 来加速 ,NPU 只能在 coreML 中调用,which 只能在 xcode 中开发 native 应用时,把模型转换过来使用。 至于 GPU 本身的性能,据说大概不到桌面级 2060 (记不清了),所以也只能跑推理,不能跑训练
我目前稍微有点后悔,上限不够高,轻量冗余得又有点多了,也很贵,不如稍微加点钱买 air+正经 N 卡训练机