search

thuml / Transfer-Learning-Library

Transfer Learning Library for Domain Adaptation, Task Adaptation, and Domain Generalization
http://transfer.thuml.ai
MIT License
3.39k stars 553 forks source link

复现RegDa论文中结果问题 #151

Closed wangxin1999 closed 2 years ago

wangxin1999 commented 2 years ago

按照作者您提供的参数我复现了regda结果，发现最好结果与论文报告中差了一些，想问问这个是否正常，是否只要是一个范围内即可，由于每台机器可能有一些差异所以无法复现出来？

JunguangJiang commented 2 years ago

可以给一下具体结果吗

wangxin1999 commented 2 years ago

Source: 0.859 Target: 0.721 Target(best): 0.721 MCP: 0.794 PIP: 0.740 DIP: 0.711 fingertip: 0.623 all: 0.721 我完全使用您的方法发现有时候结果又远远好于您论文中提供的，想问一下这个报告结果是怎么报告的，有时候每个人机器原因不同结果也可能不一样。 进一步的话，我自己也提出了一个好方法，但是会不会存在这种可能，在我的服务器上结果就是好，但是别人就是很难复现出来，或者反之，我的结果一般，但是其他人复现可能就好，如果这种情况下我该如何报告我的结果呢。

JunguangJiang commented 2 years ago

这个在误差范围内吧，可以考虑使用多次（比如三次）实验的平均值。

JunguangJiang commented 2 years ago

主要原因是，模型没有目标域上的标注数据，所以训练出来结果的方差相比于监督学习会更大

wangxin1999 commented 2 years ago

好的感谢您的回答