wdhudiekou / UMF-CMGR

[IJCAI2022 Oral] Unsupervised Misaligned Infrared and Visible Image Fusion via Cross-Modality Image Generation and Registration
MIT License
153 stars 17 forks source link

关于test_reg.py #15

Open alex551781 opened 1 year ago

alex551781 commented 1 year ago

it_edge指的是什么呢?在什么地方生成的呢? 这里我的理解图像配准需要可见光图像为标准,将红外图像对齐可见光图像,于是我使用了可见光图像的文件路径,但是会报错。 可以解答一下吗? image

wdhudiekou commented 1 year ago

感谢您对本工作的关注!it_edge指的是伪红外图像,是将可见光图像通过CPSTN生成的,我们的配准网络的两个输入分别是扭曲的红外图像和CPSTN生成的伪红外图像。

alex551781 commented 1 year ago

感谢您的回复,例如我想要配准一对红外图像与可见光图像,我需要对可见光图像先通过CPSTN生产伪红外之后才可以进行配置吗?

wdhudiekou commented 1 year ago

由于红外图像和可见光图像之间的模态差异较大,如果直接对二者执行配准的话效果较差,因此需要先将可见光图像通过CPSTN生成伪红外图像缩小这种模态差异,再执行配准。

alex551781 commented 1 year ago

您好,我按照您的步骤生成了伪红外图像并输入到了test_reg.py中,但是仍然会在load_state_dict的地方报错 image image 可以请问一下是什么问题吗?

ycccccy commented 1 year ago

作者您好~我也碰到了相同的问题,是不是您提供的reg模型与pth文件不太匹配?

wdhudiekou commented 1 year ago

导入模型报错可能是因为版本不匹配的问题,reg模型和pth文件是完全匹配的,您可以尝试更换一下实验环境。

alex551781 commented 1 year ago

image 您好,请问配准的图像有尺寸大小的限制吗?我的输入图像为480*320会出现错误The size of tensor a (128) must match the size of tensor b (240) at non-singleton dimension 3,在图中的位置

wdhudiekou commented 1 year ago

是的,我设置的图像尺寸大小是256*256

21120928 commented 1 year ago

您好,我按照您的步骤生成了伪红外图像并输入到了test_reg.py中,但是仍然会在load_state_dict的地方报错 image image 可以请问一下是什么问题吗?

您好,可以请问下这个问题最后您是怎么解决的吗,我也碰到了相同的问题。

alex551781 commented 1 year ago
        del state_dict['net']['spatial_transform_f.grid']
        del state_dict['net']['spatial_transform.grid']
        print("删除成功")
        # print(state_dict)
        # state_dict.pop('spatial_transform_f.grid')
        # state_dict.pop('spatial_transform.grid')

字典中嵌套着字典,不能直接pop删除,需要使用del语法

21120928 commented 1 year ago

好的,谢谢解答

longzaitian121396 commented 1 year ago

it_edge指的是什么呢?在什么地方生成的呢? 这里我的理解图像配准需要可见光图像为标准,将红外图像对齐可见光图像,于是我使用了可见光图像的文件路径,但是会报错。 可以解答一下吗? image

您好,想请问下,图中的disp具体指的是什么?