关于预训练模型的问题

[QuietDeer]

谢谢作者的分享！ 不过我有个问题，我不导入那个模型直接训练的话就会梯度爆炸，导入的话就比较正常，请问您的预训练的模型是怎么得到的？我想学一下

[leeyoshinari]

你好，可以改变learning_rate、batch_size、权值初始化方法、梯度下降算法等来动态调整训练过程，也可以时模型收敛，但效果不是很好。其实我这个预训练模型也是迁移学习得到的。