NVIDIA CMP 显卡能用来训练 AI 吗？

[Breakwa2333]

就是 CMP 显卡很便宜，而且支持 CUDA ，特别是 TURING 架构的 CMP （核心阉割的比较少），但是为什么没有人用来训练 AI ？

如题

[XiLingHost]

显存太小了

[murmur]

差钱可以买魔改的 2080ti o 22g

[Breakwa2333]

@XiLingHost 有些 GDDR6 的可以改显存（理论上和 2080TI 这种一样）

[bearqq]

我一般用 3060 12g 训练，用 40hx 跑图
另外 40hx 跑图半精度速度巨慢。需要改代码，模型用半精度，运算用单精度，速度也是单精度的速度，相当于速度减半
理论上 40hx 训练是没问题的，8g 也基本够，训练时候计算也不是半精度

[gam2046]

@Breakwa2333 #2 理论上能改显存和实际上有人改显存是两回事。如果你有能力自己动手，那当然还是牛的，不然找不到人帮你改。

真想玩，我觉得普通人就两个路子

1 、咬咬牙，直接上 4090 ，相对来说性价比算是不错了。小模型基本都能吃下来
2 、洋垃圾 P40 ，主打的就是一个便宜+大显存，虽然速度差了点意思，但是大显存可以让你跑更多的模型

[luny]

动手力强的，可以看看 Tesla P4 这种算力卡，挺便宜，要解决散热问题

[nightwitch]

跑训练的基本都是生产力 /科研需求，这两个都对价格不敏感。 而且现在稍微跑个像样的模型基本都是四卡 or 八卡并联着跑，这种需求都是买现成的方案，自己组的话稳定性很难保证

[qianxaingmoli]

p40 ≈ 3060 24g ，加个 3d 打印的暴力扇，加个温控调速，入门合适的

[kloseWu]

@qianxaingmoli 我也是 P40 ，请问怎么弄温控调速……另外风扇声音太大了有静音的找么……