How the offsets work?

[What-you-ever]

作者你好，我觉得你们的工作成果相当出色！但是我对论文里的偏移图（offsets）的原理感到不解，为什么Predictor经过几层卷积后得到的offsets和原图扭曲就能得到具有更多信息的窗口？k = x + flow_warp(x, offsets.permute(0, 2, 3, 1), interp_mode='bilinear', padding_mode='border') 另外，在flow_warp()的实现中提到了optical flow，这里的光流要怎么理解，据我所知光流的获取需要相邻帧的图像信息，这里把offsets看作是光流要怎么理解？期待你的解答！

[icandle]

因为offsets可以在包含原本区域的特征x的同时，通过形变引入窗口边缘其他区域的信息flow_warp(x, offsets)。这里的光流你可以理解是类似于基于运动向量作用的一个形变，flow_warp()本质上可以看作是根据一组位移量使用grid_sample函数对原特征实现形变。具体的说，vgrid = grid + flow，grid是原始的坐标，而flow在光流法里是相邻帧对齐的二维运动向量，在我们的方法里是offsets，它们的内涵是一样的，只不过在光流法里是对两帧之间像素的位置变化进行计算，而在我们的方法中使用predictor进行预测。

[What-you-ever]

因为offsets可以在包含原本区域的特征x的同时，通过形变引入窗口边缘其他区域的信息flow_warp(x, offsets)。这里的光流你可以理解是类似于基于运动向量作用的一个形变，flow_warp()本质上可以看作是根据一组位移量使用grid_sample函数对原特征实现形变。具体的说，vgrid = grid + flow，grid是原始的坐标，而flow在光流法里是相邻帧对齐的二维运动向量，在我们的方法里是offsets，它们的内涵是一样的，只不过在光流法里是对两帧之间像素的位置变化进行计算，而在我们的方法中使用predictor进行预测。

作者你好，感谢你的回复，我大概明白了你使用offsets作为“光流”的动机，但是我对使用predictor预测光流的有效性仍是不解，一般的光流预测是基于有监督学习的，它们的数据集里有真实的光流信息作为样本进行学习，但是本文里好像没有单独针对offsets的loss，怎么确保训练得到的offsets就包含了我们要的“光流”信息呢？顺便提一嘴，论文里图7 offsets的可视化做的真好看，请问是怎么实现的呢？期待你的解答！

[icandle]

是的，所以在实际的训练过程中，这个offsets的就很tricky，所以我们没有直接用flow_warp(x, offsets)作为特征，而是用x+flow_warp(x, offsets)和一些参数的预设，比如缩放因子，来保证其对基线有提升。但如果是对于360SR这种任务，这个offsets的可解释性会更强，从而学习的更合理，你可以参考OSRT。当然，如果可以有监督的学习这个offsets那肯定效果会更好，但标注这样的数据集确实不太有性价比，所以我们采取和目前的可形变卷积或注意力类似的训练，就是让它自己去学习寻找对性能有提示的区域。可视图可以参考这个链接。

[What-you-ever]

是的，所以在实际的训练过程中，这个offsets的就很tricky，所以我们没有直接用flow_warp(x, offsets)作为特征，而是用x+flow_warp(x, offsets)和一些参数的预设，比如缩放因子，来保证其对基线有提升。但如果是对于360SR这种任务，这个offsets的可解释性会更强，从而学习的更合理，你可以参考OSRT。当然，如果可以有监督的学习这个offsets那肯定效果会更好，但标注这样的数据集确实不太有性价比，所以我们采取和目前的可形变卷积或注意力类似的训练，就是让它自己去学习寻找对性能有提示的区域。可视图可以参考这个链接。

感谢的你解答和分享！！！