hli1221 / imagefusion_densefuse

DenseFuse (IEEE TIP 2019, Highly Cited Paper) - Python 3.6, TensorFlow 1.8.0
251 stars 62 forks source link

请问下作者,该评估质量代码,为何会出现这种错误。图像尺寸大小都是一样的。 #11

Closed krisice closed 4 years ago

krisice commented 4 years ago

错误使用 horzcat 串联的矩阵的维度不一致。

出错 analysis_MI>MutualInformation (line 65) I = JointEntropy(X) + entropy(Y) - JointEntropy([X Y]);

出错 analysis_MI (line 9) MI_A = MutualInformation(A,F);

出错 analysis_Reference (line 15) MI = analysis_MI(image_ir,image_vis,image_f);

出错 main (line 14) [EN,MI,Qabf,FMI_pixel,FMI_dct,FMI_w,Nabf,SCD,SSIM, MS_SSIM] = analysis_Reference(fused_image,source_image1,source_image2);

hli1221 commented 4 years ago

请确认融合图像和原图的大小是否一致,正常不会有这种问题。

swjtulinxi commented 4 years ago

你好,请问是否可以不将rgb图转为灰度图,如果直接用三通道图应该怎么修改代码啊

hli1221 commented 4 years ago

你好,请问是否可以不将rgb图转为灰度图,如果直接用三通道图应该怎么修改代码啊

可以。 需要修改输入层的输入通道数和最后一层的输出通道数,都变为3。然后重新训练网络。

swjtulinxi commented 4 years ago

image

True for RGB images

IS_RGB = False

这个地方也需要改吧,还有,请问这个适合可见光和红外吗,我是否可以用其它图片呢

swjtulinxi commented 4 years ago

你好,请问你的输入数据集文件夹格式是怎样的啊original_imgs_path = list_images('D:/Database/Image_fusion_MSCOCO/original/') 你这里就直接输入一个原图文件夹,不是有可见光和红外两种文件夹吗,请指导一下,在这里搞了好久了

hli1221 commented 4 years ago

你好,请问你的输入数据集文件夹格式是怎样的啊original_imgs_path = list_images('D:/Database/Image_fusion_MSCOCO/original/') 你这里就直接输入一个原图文件夹,不是有可见光和红外两种文件夹吗,请指导一下,在这里搞了好久了

你好,此方法是先训练一个自编码网络,所以在训练时并不需要多模态数据。 在测试时加入了融合策略,所以多模态数据只有在测试时使用。 具体方法的介绍请参考我们的论文。

swjtulinxi commented 4 years ago

你好,我按照你的方法试过训练rgb图像,修改输入输出通道数为3,但是不得行啊,出现错误

ValueError: Dimensions must be equal, but are 3 and 1 for 'Conv2D_8' (op: 'Conv2D') with input shapes: [2,256,256,3], [11,11,1,1].

swjtulinxi commented 4 years ago

你好,我明白了,是不是其实我们不需要训练rgb图像,训练灰度图像,然后再融合时使用rgb图像融合,其实是一样的,没什么影响,对吧