loss 先升后下降

[spikems]

你好，我在用你的dec的时候loss 是先上升，后下降 。但是准确率一直在上升，这个你知道是什么原因么 ？

[XifengGuo]

@spikems 由于预训练和微调两个过程用的不同的目标函数和优化方法，微调时loss先上升再下降是很正常的现象。