有没有一个还不错的训练自己的大语言模型的方式？

[qxdo1234]

自己整理一些资料库，程序尽量使用开源，尽量不使用国内的大语言模型接口。有比较好的推荐方式么？显卡条件的话，租用类似 3080 的显卡, 12G 显存，自己玩，前端页面暂时不考虑，能够实现问问题，返回比较不错的内容就行。形式不考虑，可以自己做。

[qxdo1234]

也尽量不用 GPT 这种付费的接口，就自己玩的，用这个接口成本预估比较大。

[shinyzhu]

自己训练还的看数据质量，劝退。还是想想基于大模型做什么应用吧。

[sm1314]

先看看开源的 chat 模型能不能解决你的问题。不能的话再考虑自己训练，可以使用类似 QLora 量化加速技术，入门就搞搞 SFT ，更进一步就 SFT+PPO/DPO; 由于 scaling law 的存在，7b 及以下模型在量化后性能都比较傻。具体选哪个可以 Huggingface 看榜单，选个排名高的 base 模型作为基座

[7VO54YYGvw3LOF9U]

模型是完完全全的中心化文化产物