微调自己数据集泛化性较差

#18
by chriske - opened

您好,我在做问答任务,以对比学习数据方式构造数据,用m3e-base微调2w条数据集,训练集内的数据可以相似度高(0.8左右),但是倒装或者修改下问法,就相似度很低了(0.2左右),请问这是过拟合了吗?
训练过程,3060Ti训练了50个epoch(耗时半小时),损失降至0.2

Moka HR SaSS org

嗯,这是过拟合了,50个 epoch 可能太多了,训练多少个 epoch 可以通过验证集的 loss 来确定。验证集的 loss 不下降了,就可以停止训练了

img_v2_2dd00dd6-68e9-4e54-b479-07a7abd976dg.jpg
请问这个finetune过程显示的是训练时的loss吧?如何显示验证的los

Moka HR SaSS org

在给定了验证集时,验证 loss 会在 epoch 之间输出。就像下面这样

image.png

Sign up or log in to comment