请教关于新款 MacBook Pro M2 Max 的配置问题，用于大模型训练

[paulguo]

请教下各位 V 友，新款 MacBook Pro 14inch ，Ｍ 2 Max （ 12 核 CPU 、30 核 GPU 、16 核 NPU ）+32G 内存+1TB 固态硬盘的配置，普通编程+本地大模型训练、学习、研究的需求够用吗？是否还需要升级配置到 38 核 GPU ？或者更大的内存？

https://www.apple.com/shop/buy-mac/macbook-pro/14-inch-space-gray-apple-m2-max-with-12-core-cpu-and-30-core-gpu-1tb#

[liprais]

32g 大概只能用到 11g 给 gpu,玩大模型老老实实 4090

[zhaidoudou123]

没 CUDA 真能用吗？

[JoshuaBen]

大模型老老实实上超算集群。。

[WenjieYe]

笑死 拿笔记本训大模型，还是 MacBook……

[Tearia]

能问出这个问题的 真的入门了深度学习了吗？ 开源代码都是 cuda ，难道你还全部改一遍 然后本地跑个几天几夜？ 有这钱直接找个算力平台冲了就完了。

[chendy]

专业的事情交给专业工具
mac 这方面专业不对口

[lrigi]

@liprais 4090 的 24G 显存捉襟见肘，模型一大根本放不进去。我反倒觉得 MacBook64GB/96GB 内存倒是一个很好的选择，虽然只有目前的卡几分之一的性能，但是显存堪比 A100 。为什么 32G 只能给 11GB 到 GPU ，这是系统的限制吗？我看人家 8GB 内存的 m2mini 甚至都可以跑不止 8G 显存的模型？也许是我记错了？我最近也想买 64G 的跑 llama

[Philippa]

别闹了，11g 也就勉强跑跑 512 x 512 ，4k 图生成的 4090 占到 19g 的显存。

[Philippa]

就算是用 cpu ，pc 的 128g 不香嘛

[Juszoe]

槽点有点多，玩大模型，单机 8 卡已经是低配中的低配了，更何况 mac 还没 cuda

[zeusho871]

我倒是🈶64g 的 m1 ，怎么测，可以帮你看看

[FozillaMox]

你有这个钱还是组一台好点的台式吧。

[monkeykk]

本地编程无压力，大模型训练免了

[neopenx]

M2 Max 的 training 算力等价于 3060 。洗洗睡吧。还不如买块 4090

[maxmak]

M1 Max 24H 64G 跑 chatglm-6b 内存直接爆红了，计算速度好慢，已经换成 GPU 跑了
我觉得 M2 Max 也好不了多少

[ddvswgg]

我建议 Colab

[AOK123]

大模型不都是几百张 A100 起吗。。。

小模型你这 3000 刀配个 4090 台式直接秒杀顶配 Mac Studio

[ShadowPower]

本地大模型训练不太行。最前沿的那些东西其实只支持 NVIDIA 显卡，不用 NVIDIA 显卡就是完全跑不起来或者各种报错。

Pytorch 的 MPS 后端还缺少很多算子，实际上不少是 fallback 到 CPU 跑的。而且还有很多代码实现里，内存布局之类的细节只对 NVIDIA 显卡友好，在 Apple Silicon 上还得多做一些转换工作，额外吃了不少显存（内存）和性能。

[bleaker]

https://github.com/apple/ml-ane-transformers Apple 最近的确做了一些工作

[neopenx]

@bleaker ANE 只能跑推理。训练要在 GPU 上跑 Metal/MPS 。搞笑的是 GPU 的 FP32/FP16 算力只有 Ultra 上才能超过 ANE 的 FP16 算力。所以用 AppleSilicon 做训练就是来搞笑的