机器学习应该如何入手

[lingeo]

最近搭了个 baichuan-inc/Baichuan2 ，想要自己喂一个模型出来，写点风格化的东西。
搭建环节凭借自己较为熟练的 python 使用经验和服务器运维入门的水平很顺利的完成了。但是如何去微调训练模型完全没有思路，不知道如何下手。各种名词只能一个个去搜，有没有过来人能指点一下学习路线。🙏

[TimePPT]

试试 lora

[NoOneNoBody]

这个已经是深度学习的概念了，机器学习只是“分类和归类”

首先，上一台强劲的硬件机器，CPU 和显卡(GPU)要跟上
……
后面搜文章，哈哈（苦笑，机器买不起，我还没走到这步）

机器学习硬件需求低一些，我用 12700 核显玩这个

[lingeo]

@NoOneNoBody 文章我已经抓了大概 600 篇左右，硬件的话目前是 2080ti 22G + 13600kf 。

[tothegump]

可能我也了解过一丢丢机器学习吧……
我先看了李航的《统计学习方法》，个人感觉非常好的一本书，可我是个码农，感觉跟代码对应不起来，又看了一点《机器学习实战》，依然没有感觉 （凑合着理解了半点点）
再往后，大模型出来后，又乱七八糟的学了一点点
买了课比较贵，就不推荐了……（不是课不好，是我没有时间看 尴尬.jpg ）
极客时间的几个专栏比较不错，在我收藏夹里的灰也比较厚了

个人感觉使用 colab 搞几个 sd 模型比较好玩，可以快速给自己正反馈，也确实比较好玩（去 c 站看看😁）

[tothegump]

对了，感觉前面学的跟后面大模型完全没关系，可以不去看那么多

[jack139]

显存不足就用 QLoRA

https://juejin.cn/post/7248531609389252666

https://github.com/artidoro/qlora

[mingge2333]

@tothegump 找到学习路线了没,我也是相同电脑配置, 目前 B 站学习, 同感觉没必要学太多, 只想根据自己的数据集训练特定数据