M1 Max tensorflow metal 跑分

[fyooo]

https://github.com/tlkh/tf-metal-experiments/blob/main/README.md#experiments-and-benchmarks

结论是当前版本来看，M1 Max 跟 Nvidia 的 30X0 显卡还有很大距离。不过如果手上刚好有 M1 Max ，倒是可以用来跑一些 prototype.

[makeitwork]

阻止炼丹师用 m1max 的最大理由是 pytorch 不支持（短期内也不可能支持） m1max 。一票否决了。tf 在发论文的那群人里已经没人用了。

[YvesX]

功耗摆在那里，跟桌面显卡比未免勉为其难了。

……于是移动端这个 GPU 性能于我而言就没有应用场景了，我不需要在 Final Cut Pro 中同时剪辑 7 轨 8k ProRes 视频。

[mikeven]

For 3090, same script is used, but additional optimization that leverage hardware (Tensor Core) and software (XLA compiler) not present/working on M1 is added. This corresponds to the following code segment added:

看了一下应该是软件对 3090 优化很多，带来了速度提升，目前 m1 是没有软件优化的，现阶段应用确实不太行

[swordfaith]

感觉没有云市场，搞框架的厂商也没有好好优化的动力

[crystone]

如果能有软件适配优化的话，差距应该不会特别大的，吧

[minsheng]

@mikeven
@swordfaith
@crystone

M1 Max 理论上也就只有 10TFLOPS ，和 3090 差了快四倍。

[lqf96]

@makeitwork 其实 PyTorch 最快支持 M1 的办法应该是开发一个基于 MLCompute 的 JIT 后端，然后利用正在开发的 Lazy Tensor 模拟 eager evaluation...等新电脑到了我准备看看能不能搞个 prototype 玩玩...

[dejavuwind]

@minsheng 那如果真能达到 3090 的 1/4 性能的话也是足以令人欣喜了

[mikeven]

@minsheng #6 目前看纯 GPU 性能是
m1 max 10T
3090 36T
理论上 3090 是 m1 max 3.6 倍吧。
实际上这些测试里面 3090 差不多是 m1 max 的 7 倍左右，软件对 N 卡优化还是好，每 T 的性能 x2

[minsheng]

@lqf96 这样可以支持训练吗？我这两天在看通过 C++扩展的方式支持 Metal ，可以考虑合作一下

[iowt]

其实除了偶尔上机器学习课程的学生，几乎没人用自己电脑训练吧？我身边做 ML 研究的人不管用 PC 还是 Mac ，笔记本都是 SSH 连接器。因为实验室服务器上大把计算资源，根本没有必要在自己电脑上跑。

[lqf96]

@minsheng 可以，现在 Pytorch 官方就在把 TPU （确切说是 XLA ）支持迁移到 Lazy Tensor 架构去…不过我平时还要做 research ，所以也不确定有没有时间搞这个…

[crystone]

@minsheng 四分之一已经很不错了。2022 年发布的工作站级别就要碾压一切了，搞不好要超过 3090 四倍，期待

[YsHaNg]

@crystone m2 ultra fp32 应该还不到 4070 的吧