现在买 3090TI 玩 AI 靠谱吗

[Tuatara]

想入一张显卡研究下 AI 。对比下来觉得要么 3090TI ，要么 4070TIS ，倾向于 3090TI ，因为 24g 显存宽裕一点，照现在模型的发展 16g 担心以后会不够用。16g 跑现阶段的模型大部分时候压力都不大，但比如开个 SDXL+四五个 lora ，估计 16g 也带不动了。

现在的问题是对显卡一无所知😂看到说 30 系默认全矿的，又有说 3090TI 不是矿的。想问下老哥们，3090ti 现在能入吗，能的话什么渠道比较靠谱，合理的价格大概多少？

另外我不玩游戏，实话说如果没有太大的性能差异我是能接受矿卡的，就怕以为是轻度锻炼没想到是深度锻炼，那就不能接受了。。

[digd]

如果只是玩 llm ，建议 mac pro

[hunk]

要不要考虑租用主机，试用先，4090 我记得有的才 3-5 块/小时。
硬件投入感觉变数大。

[x86]

试试 2080ti 改 22g 的方案？

[go522000]

现在能用，但明年就不一定了，我的显存 12G 只能下载别人量化好的来用。
我看到群友们是搞魔改版本 22G * 4 , 才能跑 72b 的模型，而 110b 以上模型得自己量化为 4bit 才能跑。

[jamfer]

最近刚好看到一个视频，说苹果的统一内存（显存），对训练大模型很有用，本人不太懂，仅给 LZ 一个参考： https://www.bilibili.com/video/BV1MH4y1g77V

[jamfer]

@jamfer 视频比较长，可以直接看 5:10 的位置

[sleepybear1113]

虽然我不懂跑 ai 模型的需求，但是为啥这里也有无脑吹 mac 的果粉啊

[Desiree]

@hunk 在哪里能出租？

[vivisidea]

@Desiree 直接 google 搜 4090 租用，我看选择还不少的，没试过，可以先买几个小时试试看

[rabbbit]

先按需租个试试,便宜的几块钱一小时，L4 T4 v100 A100 型号一大堆。

[plasticman64]

@sleepybear1113 所以你不懂为什么要出来叫，M 芯片跑 LLM 性能确实很好啊

[libook]

显存大小是硬性需求，算力只是速度快慢的问题。

看你要玩的模型要多大显存，另外训练和推理需要的显存大小可能是不一样的，以及你是否有需要同时加载多个模型。

[pinecone1]

M 芯片因为有统一内存结构，笔记本都上 36G-48G 的统一内存了，是能跑起更大参数量的模型的。但是推理速度会比 4090 慢好多

[pinecone1]

@pinecone1 即使 ultra 128 个 G 的统一内存能跑起 70b 的模型，估计一秒钟都吐不出几个 token

[WilliamZuo]

不了解硬件，但如果 AI 无法在短时间内把推理硬件门槛降低到 3090Ti 或者 4060 ，那这个行业真的值得被长期看好吗？

[imoru]

偶尔使用的话推荐租用 GPU,我用的是这个平台
https://www.autodl.com/
只花了 150 都不到就退烧了,因为其实真的没有那么多喜欢的角色 lora 需要训练,而且画了快一万张图感觉有点腻了😂

[jadehare]

@plasticman64 性能确实好性价比确实好么？买下来加内存买下来比 4090 还贵，跑下来还不如 4090 。有 mac 可以不用买显卡，但是已经有台式机更新肯定是更新显卡，推荐 mac 不是搞耍？

[sweat89]

@sleepybear1113 所以你不懂还要在这尬喷？人麻了都

[neteroster]

真要考虑 Apple Silicon 跑 LLM 的话先看看这个：

https://github.com/ggerganov/llama.cpp/discussions/4167

不是所有 M 芯片都是那么快的。等级森严在苹果这里也是不会变的。

除非你非跑超大模型不可，否则就性能而言 M 芯片的性价比是不如 NVIDIA 的。总之就是先想清楚需求。

然后就是如果涉猎比较广泛，不止玩 LLM ，当然还是 NVIDIA ，毕竟生态再这里。

[devlnt]

@pinecone1 #14 m3max 64G 跑 llama3:70b 能达到 9tokens/s ，而 4090+64G 内存只能 2tokens/s 。8b 的话 4090 能 100tokens/s, m3max 是 50 多 tokens/s 。