search

Zhaozixiang1228 / MMIF-CDDFuse

[CVPR 2023] Official implementation for "CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion."
349 stars 34 forks source link

训练阶段1的损失函数 #32

Open Afreshbird opened 7 months ago

Afreshbird commented 7 months ago

您好，感谢您杰出的工作，我有一个损失函数方面的问题想要请教：

我在代码中看到阶段1的损失函数定义如下： loss = coeff_mse_loss_VF mse_loss_V + coeff_mse_loss_IF mse_loss_I + coeff_decomp loss_decomp + coeff_tv Gradient_loss 与论文中描述的损失函数相比，这里是否多了一项 coeff_tv * Gradient_loss ？

并且我看到 Gradient_loss 的定义如下： Gradient_loss = L1Loss(kornia.filters.SpatialGradient()(data_VIS), kornia.filters.SpatialGradient()(data_VIS_hat)) 如果这一项不是多余的，那么为什么只计算了可见光图像的此项损失而没有计算红外图像的此项损失呢？

zxp771 commented 5 months ago

@Afreshbird 您好，我也有一样的疑问。您有尝试去掉这项损失么？训练效果如何？

Afreshbird commented 5 months ago

@Afreshbird 您好，我也有一样的疑问。您有尝试去掉这项损失么？训练效果如何？

我没去，没去复现的精度和论文基本一致。

zxp771 commented 5 months ago

@Afreshbird 感谢您的回复

eecoder-dyf commented 4 months ago

@Afreshbird 您好，我也有一样的疑问。您有尝试去掉这项损失么？训练效果如何？

我没去，没去复现的精度和论文基本一致。

你好，请问你复现时有发现stage I中的DIDF_Decoder多了一项data_VIS/data_IR的输入么，貌似与论文不符

Afreshbird commented 4 months ago

@eecoder-dyf 是有这么一项，我的理解是作者可能想实现类似残差的效果。