search

Zhaozixiang1228 / MMIF-CDDFuse

[CVPR 2023] Official implementation for "CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion."
349 stars 34 forks source link

RGB图像通道问题 #12

Closed Tefor closed 1 year ago

Tefor commented 1 year ago

作者你好，我看代码当中testIVF默认是把红外和可见光图像都转变成灰度图1通道的方式来进行处理数据，我尝试把输入数据改成RGB模式跑不通，模型默认的输入数据是1通道，预训练权重文件也是1通道，三通道的结果是要重新训练吗请问？感觉很多都要改，不过我看到作者的效果展示最终输出的结果也有RGB三通道，请问作者是在哪里实现的呢？

Zhaozixiang1228 commented 1 year ago

您好，这个任务的pipeline是单通道的融合，随后如果是RGB与IV的融合，根据之前文章的惯例，会用RGB通道变成YCbCr通道后，用Y通道与IV的融合，随后通过新的Y通道与原始CbCr通道配合，恢复RGB图。不过直接端到端输出三通道也没问题，只是需要修改输出通道后，重新训练三通道输出网络。

Tefor commented 1 year ago

您好，这个任务的pipeline是单通道的融合，随后如果是RGB与IV的融合，根据之前文章的惯例，会用RGB通道变成YCbCr通道后，用Y通道与IV的融合，随后通过新的Y通道与原始CbCr通道配合，恢复RGB图。不过直接端到端输出三通道也没问题，只是需要修改输出通道后，重新训练三通道输出网络。

你好，我最近尝试了一下你说的办法，在test_IVF.py把融合后的图像与之前rgb分离得到的cb、cr通道进行拼接，但我发现最终的RGB图像有一点点地方会发生彩色失真，请问你知道这是怎么回事嘛？

Tefor commented 1 year ago

您好，这个任务的pipeline是单通道的融合，随后如果是RGB与IV的融合，根据之前文章的惯例，会用RGB通道变成YCbCr通道后，用Y通道与IV的融合，随后通过新的Y通道与原始CbCr通道配合，恢复RGB图。不过直接端到端输出三通道也没问题，只是需要修改输出通道后，重新训练三通道输出网络。 image image 边缘部分的彩色失真是这样的，麻烦作者看一下，暂时不知道怎么解决，拜托拜托