jindongwang / transferlearning

Transfer learning / domain adaptation / domain generalization / multi-task learning etc. Papers, codes, datasets, applications, tutorials.-迁移学习
http://transferlearning.xyz/
MIT License
13.43k stars 3.81k forks source link

关于DAN中MMD正则项反向传播问题 #391

Open xingzhiyuan000 opened 1 year ago

xingzhiyuan000 commented 1 year ago

你好老师,我在自己复现代码过程中发现MMD的Loss每一个Batch的值都不相同,也没有降低趋势,且目标域的测试精度不是收敛状态(有时候大,有时候小),请问,这个MMD正则项是否参与反向传播?这个目标域测试集准确率不收敛的情况是不是因为每一个Batch数据分布不同而造成的?也就是实际上每一批次训练考虑的是一个Batch的分布,不会从测试集整体的数据分布考虑?谢谢

jindongwang commented 1 year ago

MMD参与了反向传播,只是值太小了不明显。建议调一下权重看看。