搞 AI 的兄弟们都选的多大的内存？ 32 还是 64？

[lrigi]

（别都选个 8GB 然后远程

[siriussilen]

老哥，我们都是代码提交到服务器上，本机的要求就是内存大就好了（ 30 个网页 idea pycharm dataspell 同事打开不卡哪种）

[lrigi]

@mmdsun 都用了快十年 Mac 了，就从来没考虑过 Windows 。没事俺有服务器，显卡其实无关紧要

[lrigi]

@siriussilen 我也是这样想的呀😌本地要是能高速跑跑大模型 int4 推理就更好了。我就用 vscode ，transmit ，pdf ，网页一般不超过十个。之前试过 8G 的 mac mini 完全够了。

[lrigi]

@Aspector 能跑 30B 其实就够了，再大的话不如直接模型并行丢服务器了

[mauis]

完 ai 就别折腾 mac 了。省下来钱租 v100 吧。要说纯推理买张 t4 也很香

[izzy27]

就是选低配然后远程连到服务器呀，把钱省下来花在显卡上面不香吗

[zhouyg]

搭楼问，普通玩家，搞 AI 用什么机器，显卡和系统比较好？

[asdgsdg98]

还不如买个 4070 以上的卡

[WuSiYu]

mac 炼丹图一乐，除了跑龟速的 LLM 推理/ft ，没别的用

[qweruiop]

玩 ai 就算了吧，nvidian 的 cuda ，搞了十年了，apple 和他谈不拢，现在业界的生态基本上都是 cuda 上的吧。。。

[murmur]

@zhouyg 个人玩家就是 2080ti 魔改 22g ，或者等新的 3070 魔改卡，想微调或者炼丹就去租服务器

[lchynn]

M2 上据说 跑 LLAMA.C 的编译版本，推理速度大概就有几十个 token/s ；
赶得上英伟达单卡 V100+原始的 llama2 模型了吧？

[terminals]

A100 80G 显存的够用了，ubuntu 系统跑

[terminals]

普通玩家，3090ti ，除了大语言模型，其他都够用了，用 ubuntu 系统跑，用 ubuntu 系统跑，用 ubuntu 系统跑

[ShadowPower]

@lchynn 那是 15M 参数量的模型……
其实普通的电脑也可以，那个项目优化并不好，是教学用途的

[iamqk]

@ShadowPower 最新评测结果 https://www.lightly.ai/post/apple-m1-and-m2-performance-for-training-ssl-models m2 max 的 gpu 性能应该是 4070 左右吧？

[iamqk]

应该是 m2 ultra ，记错了

[summersun2021]

@lrigi #14 m1 max 64g ，跑 sd ，风扇像拖拉机一样，跑了 30 分钟就关了，不敢试了。

[EchoAI]

使用服务器跑，ubuntu 系统 384GB 的内存。

[lrigi]

@EchoAI 服务器内存再大都不妨碍思考是买 32G 还是 64G 的 Mac😌