llama-3-sqlcoder-8b 微调效果不好，求助

[cowcomic]

使用 LoRA 进行微调

大约 1W 条微调数据，大概是四个维度各十几种排列组合来的

学习率：1e-6
训练轮数：10
学习率调节器：Inverse Square Root

学习的参数大概是这么多
trainable params: 20971520 || all params: 8051232768 || trainable%: 0.2605

图像看着倒还不错


但实际生成的 SQL 效果不升反降

求助这可能是什么原因啊？

[chaucerling]

轮数太多过拟合了吧，取 1000 的 checkpoint 试试效果

[Volekingsg]

干脆直接整个 online evaluator 看看训练过程中的效果

[cowcomic]

@chaucerling 好的，我去试试

@Volekingsg 这是啥意思，我用的是 LLaMA-Factory ，有这个功能吗？

[Volekingsg]

@cowcomic #3 我都是基于 Lightning 框架自己写的，LLaMA-Factory 不确定怎么加

[cowcomic]

@Volekingsg 感谢，我去查查

[Volekingsg]

@cowcomic #5 就是自己加个 Callback 之类的东西，每个 epoch 或者多少次 evaluate 一次 text2sql 的性能看看