为什么我运行ERM的结果会这么高呢？

[ZY123-GOOD]

您好，关注你们的工作很久了，感谢你们的开源工作。 我运行DeepDG中的代码，ERM，想看一下效果，设置了epoch120，但是我的结果是这样的： Art painting：76.27% , Cartoon：74.70%, Photo：94.67%， Sketch：76.66%。 这样的话均值是80.585%。 我对这个领域不太了解，但是我看到你们给出的其余的一些DG算法，除了DANN，均值都在80%以下。请问ERM效果到80%可能存在什么问题吗？大家的改进算法提升都不太多是吗？

[jindongwang]

@lw0517

[ZY123-GOOD]

@lw0517 希望可以百忙之中能帮我答疑下，非常感谢。 而且我也觉得迷惑的是ERM如果是80.585%，可以说明它比后续的一些改进更好吗？

[luhaifeng19947]

我已经收到您的邮件，会尽快处理。

[wlh-coconut]

你好，这是贺雯丽的自动回复，您的信息已经收到。祝身体健康，万事如意！                                                      贺雯丽

[lw0517]

@lw0517 希望可以百忙之中能帮我答疑下，非常感谢。 而且我也觉得迷惑的是ERM如果是80.585%，可以说明它比后续的一些改进更好吗？

我们目前提供的结果是相对早期的试验结果，在后续过程中学习过程以及数据预处理都有所改进，公开提供的结果是方便大家很容易达到的结果。 上面的结果是相对比较新的结果，我们在下周会有新的结果更新。

至于其他方法的提升这个问题，在In Search of Lost Domain Generalization这篇文章中已经提到，很多方法相对来说并没有太大提升，甚至不如ERM算法，这是比较正常的现象

[ZY123-GOOD]

好的谢谢你！

[ZY123-GOOD]

@lw0517 希望可以百忙之中能帮我答疑下，非常感谢。 而且我也觉得迷惑的是ERM如果是80.585%，可以说明它比后续的一些改进更好吗？

我们目前提供的结果是相对早期的试验结果，在后续过程中学习过程以及数据预处理都有所改进，公开提供的结果是方便大家很容易达到的结果。 上面的结果是相对比较新的结果，我们在下周会有新的结果更新。

至于其他方法的提升这个问题，在In Search of Lost Domain Generalization这篇文章中已经提到，很多方法相对来说并没有太大提升，甚至不如ERM算法，这是比较正常的现象

想冒昧的再问一下，那这些改进效果都不如ERM这种普通的做法的话，改进的意义是什么呢？是不是说明大家其实很难做出效果。

[jindongwang]

@ZHUYAO123 因为做科研的意义并不只等于一直刷精度呀；精度高也并不意味着方法就一定无懈可击

[ZY123-GOOD]

@ZHUYAO123 因为做科研的意义并不只等于一直刷精度呀；精度高也并不意味着方法就一定无懈可击 确实是这样哦，哈哈哈，诸子百家个有所长所短才正常。谢谢你们。

[hxynjk]

@lw0517 希望可以百忙之中能帮我答疑下，非常感谢。 而且我也觉得迷惑的是ERM如果是80.585%，可以说明它比后续的一些改进更好吗？

我们目前提供的结果是相对早期的试验结果，在后续过程中学习过程以及数据预处理都有所改进，公开提供的结果是方便大家很容易达到的结果。 上面的结果是相对比较新的结果，我们在下周会有新的结果更新。

至于其他方法的提升这个问题，在In Search of Lost Domain Generalization这篇文章中已经提到，很多方法相对来说并没有太大提升，甚至不如ERM算法，这是比较正常的现象

您好,我想问一下,对于Domain generalization任务PACS中,PCS->A和PAS->C...这些leave-one-domain-out的问题中,每个任务可以采取不同的超参吗?我看readme里面写了对于每个任务各自的超参,而且很多时候是不一样的,提前感谢

[ZY123-GOOD]

@lw0517 希望可以百忙之中能帮我答疑下，非常感谢。 而且我也觉得迷惑的是ERM如果是80.585%，可以说明它比后续的一些改进更好吗？

我们目前提供的结果是相对早期的试验结果，在后续过程中学习过程以及数据预处理都有所改进，公开提供的结果是方便大家很容易达到的结果。 上面的结果是相对比较新的结果，我们在下周会有新的结果更新。 至于其他方法的提升这个问题，在In Search of Lost Domain Generalization这篇文章中已经提到，很多方法相对来说并没有太大提升，甚至不如ERM算法，这是比较正常的现象

您好,我想问一下,对于Domain generalization任务PACS中,PCS->A和PAS->C...这些leave-one-domain-out的问题中,每个任务可以采取不同的超参吗?我看readme里面写了对于每个任务各自的超参,而且很多时候是不一样的,提前感谢

你好，我也有这个疑问，我个人感觉好的方法应该超参数相同，因为实际环境中很难有机会去试合适的超参数。但是我也是最近感兴趣看了下相关DG的文章不太懂。期待回复。

[lw0517]

@lw0517 希望可以百忙之中能帮我答疑下，非常感谢。 而且我也觉得迷惑的是ERM如果是80.585%，可以说明它比后续的一些改进更好吗？

我们目前提供的结果是相对早期的试验结果，在后续过程中学习过程以及数据预处理都有所改进，公开提供的结果是方便大家很容易达到的结果。 上面的结果是相对比较新的结果，我们在下周会有新的结果更新。 至于其他方法的提升这个问题，在In Search of Lost Domain Generalization这篇文章中已经提到，很多方法相对来说并没有太大提升，甚至不如ERM算法，这是比较正常的现象

您好,我想问一下,对于Domain generalization任务PACS中,PCS->A和PAS->C...这些leave-one-domain-out的问题中,每个任务可以采取不同的超参吗?我看readme里面写了对于每个任务各自的超参,而且很多时候是不一样的,提前感谢

你好，我也有这个疑问，我个人感觉好的方法应该超参数相同，因为实际环境中很难有机会去试合适的超参数。但是我也是最近感兴趣看了下相关DG的文章不太懂。期待回复。

每个任务的超参数的确是不同的，每个方法都有自己的超参数，实际中可以根据从源中分离出的验证数据进行模型选择

[lw0517]

@lw0517 希望可以百忙之中能帮我答疑下，非常感谢。 而且我也觉得迷惑的是ERM如果是80.585%，可以说明它比后续的一些改进更好吗？

我们目前提供的结果是相对早期的试验结果，在后续过程中学习过程以及数据预处理都有所改进，公开提供的结果是方便大家很容易达到的结果。 上面的结果是相对比较新的结果，我们在下周会有新的结果更新。 至于其他方法的提升这个问题，在In Search of Lost Domain Generalization这篇文章中已经提到，很多方法相对来说并没有太大提升，甚至不如ERM算法，这是比较正常的现象

您好,我想问一下,对于Domain generalization任务PACS中,PCS->A和PAS->C...这些leave-one-domain-out的问题中,每个任务可以采取不同的超参吗?我看readme里面写了对于每个任务各自的超参,而且很多时候是不一样的,提前感谢

可以采取不同的超参数，正常都把每个任务都当作一个单独的互相不影响的任务

[ZY123-GOOD]

@lw0517 希望可以百忙之中能帮我答疑下，非常感谢。 而且我也觉得迷惑的是ERM如果是80.585%，可以说明它比后续的一些改进更好吗？

我们目前提供的结果是相对早期的试验结果，在后续过程中学习过程以及数据预处理都有所改进，公开提供的结果是方便大家很容易达到的结果。 上面的结果是相对比较新的结果，我们在下周会有新的结果更新。 至于其他方法的提升这个问题，在In Search of Lost Domain Generalization这篇文章中已经提到，很多方法相对来说并没有太大提升，甚至不如ERM算法，这是比较正常的现象

您好,我想问一下,对于Domain generalization任务PACS中,PCS->A和PAS->C...这些leave-one-domain-out的问题中,每个任务可以采取不同的超参吗?我看readme里面写了对于每个任务各自的超参,而且很多时候是不一样的,提前感谢

可以采取不同的超参数，正常都把每个任务都当作一个单独的互相不影响的任务

请问我使用这个开源的代码和建议的超参数，比如lr:0.005, epoch:120，运行ERM，为什么跑不出来这个截图中的最新的结果呢？可能是需要调整数据增广吗？ 多谢多谢。

[lw0517]

Reference

目前我们正在用新的代码跑PACS、OfficeHome的任务，到时候会统一更新，增广方式的确有所改动，如果你用旧版本的代码，学习率设置为0.001或者0.005和图中结果差距应该不大。由于valid数据的划分可能会影响结果，所以可能会有小的波动，如果环境不一样的话。

[ZY123-GOOD]

原来如此，谢谢你