搞 AI 的兄弟们都选的多大的内存？ 32 还是 64？

[lrigi]

（别都选个 8GB 然后远程

[swulling]

搞 AI 用 Macbook 不太行吧。

MPS 跑跑推理还行，训练什么的行么。

[deplivesb]

搞 ai 用 MacBook ？
我的 m2 max 64G ，跑 sd 能吃掉 50G 左右的内存，
训练过一个小小的 cnn ，mac gpu 跑了 70 多个小时，相同的项目，4090 跑了 50 小时左右

[vtemp249]

本地需要堆的不都是显存，管什么内存

[deplivesb]

@vtemp249 Apple silicon 的内存就是显存

[lrigi]

@swulling 训练肯定不行，内存大就可以平时玩玩推理么（不过好像也没时间

@deplivesb 和 4090 的差距不应该这么小吧，难道是 batch 大了一倍？你这个 sd 是不是 batch 开的很大还是怎么样，sd 的参数量好像不多，请问除了 sd 的话 64G 显存还有什么玩耍的场景吗？

[ZedRover]

16g + vscode remote

[murmur]

@deplivesb 我看专业评测是只能有一半内存当显存用？

[lrigi]

@murmur 我也想问这个问题，之前有人说 32G 的内存只能让 22G 当显存，有这样的限制吗？

[lrigi]

@ZedRover 我现在就是 16G+vs remote ，但既然买电脑了，要求不高（ 7B 到 65B 都能推理不过分吧

[8355]

之前看到有大佬 Mac Studio 192g 内存跑模型用

[ZedRover]

@lrigi #9 不太清楚 mac 上的 torch 现在适配的怎么样了，之前跑 MAE 的代码跑不通，有几个库都不支持，之后就不怎么在 mac 上跑模型了，aws autodl 什么的随便开个按量的服务器跑不香么

[czfy]

搞 AI ，想本地跑，还用 Mac ？

[lrigi]

@ZedRover 现在适配的应该不错了，毕竟 llama 和 sd 里面都有包含很多比较新的算子吧。服务器不缺，但不是要换机吗，3000 块加 32G 显存打着灯笼也找不到吧，还是挺心动的。

[lrigi]

@czfy 😏时代变了大兄弟，m2 max 已经和 v100 计算力差不多了，以后可能真的很多论文用 mac 实现了。毕竟学界很多组还在 2080ti 和 titan 呢

[YsCi2]

我感觉相比 N 卡还是速度太慢了，N 卡能够节省数倍的时间，Mac 本地也就看看代码能不能跑。（我测试的是 ChatGLM 和 YOLO ）

[czfy]

@lrigi 你还真信林亦的视频啊？
尊重，祝福

[046569]

原则上越大越好,目前 MPS 确实存在限制,粗略估算三分之二当显存.
一旦内存爆了,速度会立刻降到没法使用.
实测 32G 内存跑 70B 量化只有 0.03 tokens/s.

[RoccoShi]

你想用 mac 搞 ai?

[lrigi]

@czfy 我没怎么看过那个视频，你觉得我哪里说的不对你可以反驳我，而不是说一些没意义的话。相比专业的计算卡，mac 是不是在价格和显存容量上都有优势？ m2 max 的 tflops 是不是跟 v100 差不多？

[shwnpol]

mac 不行，pytorch 适配得再好没意义，解决不了训练的问题，最多只能微调，皮衣的护甲现在打不穿的