a little question about Wr

Rui-R commented 3 years ago

作者你好，首先非常感谢您开源的训练模型和测试代码。我想请教一个小问题，公式(3)中 w_r = (w_d - w_n) / 2 (α_w |w| + γ_w) + 1/2 应该怎么理解呢？谢谢~

CalayZhou commented 3 years ago

同学你好，关于公式3的设计的来源是这样的，如果直接利用w_d 与 w_n作为RGB与红外模态的融合系数的话，由于大多数预测w_d 与w_n的值趋近于1或0，RGB与红外其中一个模态将乘以一个趋近于0的数。因此采取融合系数以0.5作为一个基准，（w_d - w_n）决定了在0.5基础上是增还是减，α_w * |w| + γ_w决定了增减的多少。不过光照感知这么设计我觉得还是比较粗糙的，这一块需要进一步优化~

Rui-R commented 3 years ago

感谢您的及时回复。我之前也阅读了IATDNN-IAMSS那篇文章，它也预测了w_d和w_n，但是那篇文章是直接用这两个参数作为光照权重的。我觉得你的设计要鲁棒一些，解决了可能出现的极端值问题，不过如您所说，这部分的设计应该还可以进一步优化。再次感谢您耐心的解答~

CalayZhou / MBNet

a little question about Wr #26