feixue94 / imp-release

[CVPR 2023] IMP: iterative matching and pose estimation with transformer-based recurrent module
https://feixue94.github.io/
Other
141 stars 11 forks source link

关于代码中pose用法的疑虑 #14

Closed hkd724 closed 1 year ago

hkd724 commented 1 year ago

你好!

   首先感谢您的工作,这篇文章很有启发性和创新型,能利用到pose信息去优化matching。
   但是我在阅读代码和paper后发现pose信息的利用可能并不多?
   下面我说一下我对paper和代码的理解。首先是用到了pose的部分。第一点,在训练中,您把pose作为一项loss加入,相比原本的superglue提了点。第二点,推理上,您在adaptive sampling部分中用到了pose。第三点,您在推理过程中会用pose作为终止条件提前退出节省时间。第四点,您在推理过程中会将与极线距离过远的点作为outlier直接筛除(虽然这点最后好像没加入代码)。
   不知我以上的理解是否正确,还请指正。
   另外我还关心一点就是,descriptor augmentation的部分在推理过程是否也用到了pose信息。因为您论文中提到,如figure 2 (b)图中,f_p和f_M会作为一个网络层加入优化。所以我想知道pose信息在推理过程中是否有用到,还是只作为训练过程中的一个额外loss?

提前感谢您的回答! 祝好!