Open 180400518 opened 1 year ago
在代码运行中,发现Reconstrucion loss,Dual prediction loss与CL loss的大小相差较大(CL loss约为其他两个loss的一千倍),请问这种设计的原因是什么?训练中是怎么解决因这种大小差距导致的优化不平衡的问题的呢?
您好,我们通过人工超参数平衡几个损失项。 首先CL loss是对性能提升最大的损失项,Dual prediction loss的训练需要表征已具备一定的判别性,同时实验发现Dual prediction和Reconstruction loss的拟合非常容易,因此我们把Dual loss 和Reconstruction loss的权重设置的较小。
在代码运行中,发现Reconstrucion loss,Dual prediction loss与CL loss的大小相差较大(CL loss约为其他两个loss的一千倍),请问这种设计的原因是什么?训练中是怎么解决因这种大小差距导致的优化不平衡的问题的呢?