ai 训练（非大模型）现在可以用 cpu 跑吗？

[onikage]

今年想了解下 ai 相关，暂时不考虑大模型，只是为了解决应用层面一些特定场景，比如特定物品识别之类的，标注数据量也不多，训练的时候需不需要用到显卡？ 现在在用 12500cpu ，没有显卡，另外也想请教下苹果 m 对这种玩票性质训练有加成吗？

[loryyang]

你问问题的这个方式只能说明你对模型训练的知识了解太少了。不要多问，先上手去做吧

[loryyang]

@loryyang #21 稍微补充一下，不同的模型训练都是不一样的，底下到底用了什么框架，tf 还是 pytorch ，都是不太一样的。你应该先选择一个你感兴趣的模型，然后翻一下对应的文档（基本上都会清楚说明的），自己再去造轮子训练一下

[cherryas]

铁杵可以磨成针吗和这个问题的答案一致。

[cherryas]

当鸡啄完米,狗吃完面,火烧断锁就可以训练完一次了。

[wangzhangup]

计算机视觉方面的模型对于算力要求比较低，但是训练的话用 CPU 不太行。
至于大模型都不是一个 GPU 能搞定的，需要 GPU 集群才能训练大模型。

[charslee013]

当然可以呀 很早之前我就写过使用 llama.cpp 在 M1 上直接使用 CPU 来运行 llama 7B 模型 https://www.v2ex.com/t/923536

现在的话 llama.cpp 还支持 openblas 加速，CPU 跑 1.3B 或者 3B 4bit 量化后的都是没问题的

> 训练的时候需不需要用到显卡？
训练最好还是用显卡，而且还是大显存那种避免 Out of CUDA Memory

训练完毕后删掉一些不用的层转 onnx 格式直接用 CPU 跑应该是没问题的，就是速度懂得都懂 🤔