关于训练，模型容易跑飞的情况

[qianzhang2018]

🐛 bug 说明

我在用您提供的代码和模型进行再训练，进行的是句子对的训练，我的数据集比较大，可能有100w条。 我训练的时候发现基本上训练一轮以后，损失函数可能就会突然变大，然后维持一个稳定的数值不变，判断应该是模型跑飞了。 想请教一下作者有遇到过这种情况么，有没有训练经验可以分享一下的。

Python Version

None

[NLPJCL]

同问，同样的问题。感觉有可能是微调默认参数的问题。base模型，默认学习率是5e-5，而且是维持不变的，温度因子是0.05，比作者训练m3e的时候大了很多，请问下是出于什么考虑，设置这组参数呢？

[xxm1668]

+1

[qianzhang2018]

同问，同样的问题。感觉有可能是微调默认参数的问题。base模型，默认学习率是5e-5，而且是维持不变的，温度因子是0.05，比作者训练m3e的时候大了很多，请问下是出于什么考虑，设置这组参数呢？

我调整了学习率以后，模型训练就稳定很多了。

[wangyuxinwhy]

在微调的时候可以根据实际情况调整学习率，batch_size，温度等参数。FineTuner 中的默认值只是根据经验的保守设置，可以根据实际情况调整。我在教程里面没有强调这部分的内容，对各位造成了困扰，实在抱歉。