Performance of the baseline

[Wyxdm]

尊敬的HDMNet作者： 你好！您做出的HDMNet工作十分出色，非常感谢您开源了代码！在这里我有一个小问题想请教一下您：论文的表4（消融实验表格）的第一行是您的baseline的性能。由论文的4.3节可以得知，您构造baseline的方式类似于CyCTR。只是去掉了循环一致性模块以及self-cross attention的层数有所差别。但是baseline的性能远超CyCTR（44.7 vs 40.3），这个baseline也超过了目前很多的其他方法的最佳性能。请问您构造的baseline与CyCTR的性能有显著差异的主要原因是什么呢？ 期待您的回复！ 再次感谢您对社区做出的贡献。

[Pbihao]

您好，首先感谢您对于我们的工作的兴趣。 在我们的工作钟，为了对比公平，我们follow了BAM中的baseline，在BAM的文章中，他使用了一个图像数据集的分割作为pretraining。当然，这一个操作有一定争议。 在论文原文中我们为了公平比较采用了一致的setting，不过在以前的issue中，我们也汇报了我们的工作不BAM的baseline的结果，也是大大超过了之前的SOTA，因此对于最终结论不产生影响。 最后，再次感谢您对于我们工作的兴趣，祝您科研顺利，并欢迎随时讨论。

[Wyxdm]

感谢您的耐心回复！ 我这边还是有一点疑惑，与BAM的Ensemble的性能应该是论文中的表4的第二行(45.8)？表4的第一行是没有与BAM的base learner预测结果集成的，其性能（44.7）也高于完整的CyCTR是因为采用的是跟BAM一致的去掉包含测试类别图像的Train list吗？ 期待您的回复！祝好

[Pbihao]

是的，老实说这个操作存在争议，我那一年bam刚刚出来，大家还没有发现和提出这个问题，审稿人还是要求和bam比较，现在的话，我想如果题主写paper提供两个实验，一个使用bam的，一个不使用的，就算点低一点应该没有人会说什么。然后我们的工作不使用的可以参考之前的issue。 除了训练集的问题，bam还有一个是coco的evaluation只跑了1000个iteration，之前的工作都是跑10000以上，只有pascal才是1000，我们论文中的结果复现的是一万的情况，所以和他的原文可能有出入。 如果有其他问题，欢迎随时交流！

[Wyxdm]

感谢您的耐心回复！ 非常能够理解作者的考虑，也很钦佩作者对于科研严谨的态度，您的回复详细且有帮助，谢谢！