现在买 3090TI 玩 AI 靠谱吗

[Tuatara]

想入一张显卡研究下 AI 。对比下来觉得要么 3090TI ，要么 4070TIS ，倾向于 3090TI ，因为 24g 显存宽裕一点，照现在模型的发展 16g 担心以后会不够用。16g 跑现阶段的模型大部分时候压力都不大，但比如开个 SDXL+四五个 lora ，估计 16g 也带不动了。

现在的问题是对显卡一无所知😂看到说 30 系默认全矿的，又有说 3090TI 不是矿的。想问下老哥们，3090ti 现在能入吗，能的话什么渠道比较靠谱，合理的价格大概多少？

另外我不玩游戏，实话说如果没有太大的性能差异我是能接受矿卡的，就怕以为是轻度锻炼没想到是深度锻炼，那就不能接受了。。

[liuyangmengqi]

@sleepybear1113 虽然你什么都不懂 ，但是也不妨碍你看到苹果就咬啊

[neteroster]

@neteroster 再补充几句，70B 还没到 Mac 的适应区间，2 * 3090 就能拉爆 M3 Max 了，还是在便宜的多的情况下。拉高 batch size 差距应该会更加显著。

再大的模型？那就要想清楚你是不是真的需要那么大的模型了，现在大部分模型都集中在 <100B 区间，就算 >100B 的模型 Mac 也跑不快的。唯一有优势的可能是 MoE ，不过现阶段并不多，可能战未来吧。

[Caitlyn]

我的 4070tis 跑 ai 绘图、ai 唱歌，速度非常快，显存占用基本在 14g 左右，我觉得 70tis 性价比很高，4080s 贵了 1500 提升不是很大不划算了

[JayZXu]

如果只是玩一玩，组个 GPU 的钱也就几块钱一个小时，就当上网吧了，而且环境配置时还不算钱，挺合算。自己试试真实需求再下手不迟


如果是真的深入要微调模型啊之类的需求，买一张 3090ti 也不顶用。
哪怕是 24G 跑大模型也顶多只能跑个优化好的 13B ，14B 。70B 就不要想了。
画图参数拉高了，显存一样不够用。

[thinkershare]

租卡是最合适的，弄个 A100*2 或者 3090*4 的集群，基本啥都能跑。。另外你是要搞推理还是训练?
等到你真的需要自己训练大模型时，你一样需要专业的集群，而不能靠你手头那点资源。

[clear]

上面吹 Mac 跑大模型的自己真的用过吗，那么多坑都淌完了？

还是看了个视频张口就来了。

— 来自顶配 Studio 用户的评论。

另附：租用目前是最合适的，退烧快，性价比高，以 AI 名义打游戏另说。

[tr1v1z]

说 mac 的基本就是限定了顶配，然后只适用 llama.cpp ，然后呢，买回来纯推理 llama ？楼主都说了 sdxl ，怎么可能推荐 mac ，不知道咋想的…

至于为啥 4090 看上去拉，因为显存不够只能走 pcie 走 内存走 cpu 。换成 2x3090 就会立竿见影。话又说回来，sd 又不特别吃显存，4090 绝对是好选择。

不要只看评测视频吧。。

[kenvix]

有很多人说 mac 跑 LLM 很好，我比较好奇，这个跑是推理还是微调？ mac 能 SFT 微调 LLM 吗？

[LaurelHarmon]

3090 很好的，跑跑模型没啥问题，训练推理都在行，老当益壮

[herozzm]

小模型可以，稍大就抓瞎

[ansor]

mac 跑 LLM,跟 wsl 跑 LLM 有什么区别，价格还更便宜。

[sola97]

推理速度太慢没有实用价值，什么 14b 都不如免费的 kimi

[lithiumii]

@sleepybear1113 因为老黄的显存跟果子的统一内存都是金子价。果子 96G 内存的机器是一台可以拎走的笔记本，同等价格 96G 显存的机器是一台体积功耗噪音都惊人的服务器。个人玩特别大的模型，苹果忽然就有性价比了。

[sighforever]

@ansor mac 现在是统一内存，内存也是显存，mac 有个 192G 版本的，相当于有 150+ 的显存了，等于 6 块 4090 了

[SkywalkerJi]

果粉只考虑显存大小，不考虑算力的吗？ gt610 大狂牛？

[michaelzxp]

就等苹果 wwdc 看会不会发布自己的 ai ，年底上 m4 大内存版本

[1138743695]

感觉想学习不管是从成本还是便利性上都推荐用租的，能避免很多问题（我是本科 ai 专业，长时间的课题自然用实验室的，平时自己想试点什么就用租的，我用的 autodl ）

[Francost]

我是在 runpod 上租用 gpu ，有很多 option 可供选择，或者你也可以在 vast.ai 上看看

[BernieDu]

@tr1v1z Mac 跑 sdxl 有什么问题吗，sdxl 这种啥机器跑不了，无非是快点慢点，大部分家庭需求还在乎时间？后台慢慢生成就是了。

[secondwtq]

SD 和 LLM 这两个需求其实是不一样的
LLM 看个人需求，跑得快当然好，有的场景慢一点也无所谓
但是 SD 实际使用中需要迭代调参才能试出相对满意的结果，这种情况下能快速推理生成预览是非常有用的
就像过去 3D 建模调材质，CPU 渲染很慢影响效率，但是后来 CPU 核数上来了，又可以用 GPU 硬件加速光追，效率指数级上升