Open xingzhiyuan000 opened 1 year ago
你好老师,我在自己复现代码过程中发现MMD的Loss每一个Batch的值都不相同,也没有降低趋势,且目标域的测试精度不是收敛状态(有时候大,有时候小),请问,这个MMD正则项是否参与反向传播?这个目标域测试集准确率不收敛的情况是不是因为每一个Batch数据分布不同而造成的?也就是实际上每一批次训练考虑的是一个Batch的分布,不会从测试集整体的数据分布考虑?谢谢
MMD参与了反向传播,只是值太小了不明显。建议调一下权重看看。
你好老师,我在自己复现代码过程中发现MMD的Loss每一个Batch的值都不相同,也没有降低趋势,且目标域的测试精度不是收敛状态(有时候大,有时候小),请问,这个MMD正则项是否参与反向传播?这个目标域测试集准确率不收敛的情况是不是因为每一个Batch数据分布不同而造成的?也就是实际上每一批次训练考虑的是一个Batch的分布,不会从测试集整体的数据分布考虑?谢谢