llama-3-sqlcoder-8b 微调效果不好,求助

查看 17|回复 1
作者:cowcomic   
使用 LoRA 进行微调
大约 1W 条微调数据,大概是四个维度各十几种排列组合来的
学习率:1e-6
训练轮数:10
学习率调节器:Inverse Square Root
学习的参数大概是这么多
trainable params: 20971520 || all params: 8051232768 || trainable%: 0.2605
图像看着倒还不错

但实际生成的 SQL 效果不升反降
求助这可能是什么原因啊?
chaucerling   
轮数太多过拟合了吧,取 1000 的 checkpoint 试试效果
您需要登录后才可以回帖 登录 | 立即注册

返回顶部