Open HeYingnan opened 8 months ago
你好,请问你解决这个问题了吗?
你好,请问你解决这个问题了吗?
在经过初始化训练后,可以通过合理设置数据混合方式来解决大部分发散问题。通过约束异常loss的反向传播,可以使训练持续训练下去。loss仍然是来回震荡的。但可以在验证集上观察到下降趋势,并根据此选取合适的模型。
你好,请问你解决这个问题了吗?
在经过初始化训练后,可以通过合理设置数据混合方式来解决大部分发散问题。通过约束异常loss的反向传播,可以使训练持续训练下去。loss仍然是来回震荡的。但可以在验证集上观察到下降趋势,并根据此选取合适的模型。
好的,谢谢您的回复
你好,能把训练代码给参考下吗
我发现在训练过程中,总是存在一些数据会在迭代过程中发散。并且,在训练过程中,loss总是根据数据的不同,来回震荡。请教下作者针对这两个问题,有什么解决办法呢?