配准损失loss问题

[songxujay]

作者您好，

关于配准损失包含两个部分，其中一个部分，使用的是变形场作用的伪红外图像特征和真实变形的红外特征去近似，这一部分可以理解，从何学到变形场。

然后另一个部分，使用的是MRRN网络估计的配准红外图像的特征和伪红外图像的特征去做近似，这一部分不是很理解。 不理解的地方是，为什么用伪红外图像的特征做近似，是因为把伪红外图像的特征看作了当前网络红外图像的GT,从而让生成的配准图像特征与它相似？

是从扭曲的红外图像学习变形场，从伪红外图像学习红外特征？因为扭曲的红外图像，是真实的源图像，但是因为他扭曲了，所以不能使用他的特征？这样会不会让对齐后的图像内容真实性降低？

不知道理解的有没有问题，很抱歉带来这个问题，期待您的答复，谢谢。

[wdhudiekou]

你好， 感谢你的提问。关于配准损失，它包含两个方向的配准，损失的第一项是：配准的红外图像与伪红外图像的特征相似度；损失的第二项是：变形的伪红外图像与扭曲的红外图像的特征相似度。关于第二项，我们确实是将伪红外图像当做配准过程的target图像了，但是目标并不是为了学习伪红外图像的特征，而是为了反向地约束使得生成的变形场更加准确。你质疑的问题“让对齐后的图像内容真实性降低”，我认为不会，因为MRRN的输入是一幅伪红外图像和一幅扭曲红外图像，它们都是不变的，而且MRRN预测的只是一个变形场，约束的不好也只会导致变形场预测的不准。也是为了尽可能避免这个问题，我们给第二项的权重设为了0.2.

希望我的回答能帮助你理解我的工作，同时，感谢你关注我的工作，谢谢！