关于 AI 模型训练,喂数据的疑问

[yueji]

最近跟一些朋友聊天,他们总提到 自己训练模型,给 AI 喂数据,训练自己的模型.
我就挺好奇的,GPT 怎么训练自己的模型的,怎么喂数据的?
不是只能直接用吗??

[NoOneNoBody]

跟它辩论

[kop1989smurf]

如果只限定于 GPT 的话，可以使用 Embedding 进行向量化（相关性）微调。

如果是整个机器学习领域的话，是可以自己训练小模型（或者说干预）的。
比如 stable diffusion 的 Lora （你可以粗暴的理解为叠加在大模型上的小模型，通过权重互相影响）

如果是再小的实验性质模型，也可以从头训练，只不过个人来讲性价比太低。
像是 GPT 这种几千亿参数的模型，都是通过万分之一的小模型去预测结果从而低成本的调参、测试的。否则时间和资金成本上承受不了。

至于说到底叫不叫“喂数据”，叫不叫“训练自己的模型”，这都是名词之争，没什么必要。

[luchenwei9266]

你理解的可能跟他聊的不是同一个东西，他说的应该是 fine-tune 或者 embedding 。

大概比喻一下：外面有一只猫娘可以被大家调教，而他不屑与你们共伍(或者他觉得这个猫娘不能满足他的特定需求)，所以他要自己调教出自己想要的猫娘。比如想让这个猫娘不仅会喵喵喵还会汪汪汪，所以就要给她喂狗狗的数据，让她学会汪汪汪。

比喻可能不太恰当，欢迎大佬用更好的白话来解释。。。。

[yueji]

@luchenwei9266
说是给 AI 喂数据,训练自己的模型.然后做全自动的虚拟货币交易程序.

[houshuu]

在模型不公开的情况下是无法喂数据的，官方提供 fine-tuning 服务但那是限定几个模型
现在玩的再花终究是前端上的 prompt engineering