关于MF过程的疑问

[night-train-zhx]

作者你好，关于MF模块我有几个不太明白的点，想请您解答一下，感谢！ 1.MF模块里对原图像的1×1卷积的意义是什么，（对灰度图）全图乘同一个参数难道不就是改变了亮度？ 2.为什么1×1卷积后的图跟原图(*0.5)按位相乘后就得到了Inner spatial information？ 3.为什么后面的那两个1×1卷积在代码里实际上是kernel_size=3？ 此外还有一个小问题想请教您一下，您的实验里证明越靠后越深层的融合反而会导致效果变差，那您如何看待以前的RGB-T的论文大部分都是基于two-stream结构的特征级融合呢？

[icey-zhang]

您好， 1.代码最开始设计是使用SEblock，但是考虑到部分用户在使用过程中出现报错（具体报错有点忘记），所以改成了乘以系数 2.可以理解成卷积是一个提取空间注意力的attention map的作用，相乘即可获取内部空间信息。 3.这里论文中有错误，应该改为3X3，感谢指正。 4.本文章由于其中一个出发点是 尽量减少参数量。所以在实验设计时只考虑像素级融合和浅层特征融合。您说的RGB-T的论文大部分都是基于two-stream结构的特征级融合一般处于比较深度的中间特征层，所以提取到的特征信息可能会比浅层的更具备语义信息，效果一般是较好的。