M3 Max 的神经引擎是否已经不够看了？

[oppurst]

从 M1 Max 开始，M 家族的 Neural Engine 就一直都是 16 核，Max 系列算力也从 11 TOPS 涨到目前的 18 TOPS （ https://www.anandtech.com/show/21116/apple-announces-m3-soc-family-m3-m3-pro-and-m3-max-make-their-marks ），不过讲真在现在这个时间节点，这点能力还是不够看啊。

毕竟隔壁高通的骁龙 X Elite 中集成的 Hexagon NPU 算力都怼到 45 TOPS 了，主打就是一个 LLM 的能力作为宣传的噱头。

这么看的话，用新的 M3 Max 来跑本地大模型似乎不怎么靠谱啊，也难怪发布会上都不咋提 ML 或 AI 能力的。所以，到底要不要换机啊，感觉下一代芯片的 AI 算力应该会得到强化，要不要再等一等...

[lqcc]

A16 NPU 17 TOPS, A17 pro NPU 35 TOPS.

[oppurst]

@lqcc 想想就很吓人... 手机比笔记本电脑算力更猛可敢信...

[chonger]

跑大模型不是和显卡和显存有关吗？ 4090 有 npu 吗？这点不太清楚，有人知道的话请指教

[nicoljiang]

@oppurst 主要是 A17pro 支持 int8 ，35 应该是 8 的性能，M3 的 18 应该是指 16 的性能

[lqcc]

@nicoljiang 根据这篇文章所说，如果统一以 INT16 标准，那 M1/M2/M3 对应的 NPU 分别是 11 、15.8 、18 TOPS 。A16 与 A17 Pro NPU 速度差不多，都为 17 TOPS 左右。不同的是 A17 Pro 支持 INT8 。

[sharpy]

用 metal 跑在 GPU 上啊

[wpyfawkes]

@chonger AI 推理和训练就是不断的在统计概率.于是理论上所有能浮点计算的设备都可以用来跑大模型.只要能接受龟速,CPU + 硬盘都能跑.

[xixun]

今年 m3m 最大显存倒是升级了

[Rorysky]

苹果的 AI 战略确实落后，不知道是不是再憋大招

[Mark24]

隔壁 骁龙 X Elite 是 PPT ，预计明年年中才上市。

M 家族是现货

你让骁龙现在就拿出来卖啊 :D

[xixun]

@lqcc A17pro 是 35TFlops 吧

[lqcc]

@xixun A17 Pro 那是以 INT8 计算的，要是按照 INT16 计算，要打折。

[wanguorui123]

A17 Pro 的制程红利基本上全部用到 NPU 上了达到 35T

[lqcc]

@wanguorui123 根据我看到的文章，这个 35 TOPS 可能是 INT8 跑出来的，苹果其它 A 系 M 系芯片跑分是 INT16/FP16 。所以这个 35T 要打对折。

[xixun]

高通那个不是 int4 吗

[lqcc]

@xixun 没错，高通 X Elite 45 TOPS 是 INT4 跑出来的。

[xixun]

@lqcc https://machinelearning.apple.com/research/neural-engine-transformers https://www.apple.com/by/iphone-13-pro/ https://www.apple.com/go/2022/iphone-14-pro/
都以 fp16 计算 13pro 官网说是 15.8 万亿次是 15.8TFlops 14p 是 17 万亿次 15p 提升一倍理应也是 35TFlops

[lqcc]

@xixun A15/A16/A17 pro 神经网络引擎都是 16 核心，A15 是 15.8 TOPS ，A16 是 17 ，A17 pro 再打鸡血，也不能在不增加核心数目的前提下跑分达到上一代的 2 倍吧。

[lqcc]

@xixun 可以参考 Geekbench 6 ML 跑分。数据表明，A17 pro 的 npu 跑分比 A16 的分数也就提高了 10%左右吧。

[xixun]

@lqcc 但 Apple 官网 A17Pro 说的是两倍速度，就算隔代比两倍那也有 30 多 TFlops