关于Test_reg.py中变量--ir的问题

[Gargantua43]

作者您好，请问在test_reg.py中“--ir”值的是什么图片呢？？它的路径为什么是ir_warp？？

[xsource]

你好，根据作者之前的回答，ir所指的应该是数据集中原红外图像，it指的是通过CPSTN生成的伪红外图像。

*请问你运行test_reg.py成功了么？是否删除了disp相关的代码？具体删除了哪些东西？

[Gargantua43]

你好，根据作者之前的回答，ir所指的应该是数据集中原红外图像，it指的是通过CPSTN生成的伪红外图像。

*请问你运行test_reg.py成功了么？是否删除了disp相关的代码？具体删除了哪些东西？

您好，我的test_reg.py能够运行，但是生成的结果不对；导致我最后融合的结果有很大偏差....

[Gargantua43]

这是我融合之后的结果：我能确保的是CPSTN的结果和作者给出的结果是相同的；但是，我困惑的是test_reg.py中ir_warp这个路径对应的是什么图片？我感觉应该不是原数据集中的红外图片，应该是执行get_test_data.py文件后生成的ir_warp文件夹中的图片

[Gargantua43]

有一点值得注意的是： 在test_reg.py中没有对输入图像尺寸的处理；但是在train_reg.py中却有对图像尺寸的处理；这就导致在执行get_test_data.py文件前，需要将原始数据集中所有图片缩放到256*256；不能直接运行get_test_data.py

[123abxc]

你好 请问伪红外文件夹中的图片名称 和 ir_warp中图片 数量虽然一样 但是图像名称和内容不太一样 你们是怎么解决的

[Gargantua43]

您可以给出一个具体的例子么？？ 我有点没太理解

[123abxc]

感谢你的回答 这个是使用作者的CPSTN 得到的伪红外部分图片 在运行test_reg.py 文件中 it 和 ir按照您所说 分别是伪红外和ir_wrap 根据get_test_data.py 得到的ir_wrap的部分图片 运行train_reg.py文件时 报错 调试后才发现 是两个文件虽然图片数量都是221 但是图片名称以及具体内容不一样 很困惑这个问题

[Gargantua43]

噢噢噢噢 就是后缀不同呗；这个需要自己coding一个图片格式转换的代码；我是把jpg转换成png了

[123abxc]

不是后缀问题 伪红外 图片中细看有69这个文件名 但是ir_warp 没有

[Gargantua43]

呀 不对 我是把png转成jpg了

[Gargantua43]

把'_video'删掉，你这个问题就解决了

[Gargantua43]

原数据中有一些图片命名中带有'_video'，删除就好了；但是图片后缀名还是要改的，要不上图中你展示的错误还会出现

[123abxc]

好的谢谢 我再尝试尝试

[Gargantua43]

图片后缀名不同红色位置的代码就会弹出你遇到的代码

[Gargantua43]

我比较困惑的是ir_warp是什么图片？如果您有答案，还请您在这个问题下留言，期待您的回复 @123abxc

[123abxc]

抱歉，我也正在接触了解，实在不太清楚

[code2497]

ir_warp应该是由get_test_data.py生成的变形后的红外图像？

[123abxc]

@code2497 但是尝试这个结果运行的结果也有问题 似乎并没有配准 请问您成功复现了嘛

[code2497]

@code2497 但是尝试这个结果运行的结果也有问题 似乎并没有配准 请问您成功复现了嘛

我这边实验是这样做的

1. 运行train_reg.py进行训练，--ir为真实的RoadScene红外图像（不是变形后的），--it为CPSTN生成的伪红外图像，训练了300个epoch
2. 运行test_reg.py生成配准后的图像，--ir为形变后的红外图像（我这里还是用的RoadScene形变后的红外图像），--it同上。
3. 运行Evaluation/metrics.py，将main函数里的root_in改成test_reg.py生成的配准后图像（ir_reg），root_gt为真实的RoadScene红外图像
4. 最后运行metrics.py生成的指标为Average MSE=0.0047728, NCC=0.94892, LNCC=0.59055，感觉还是有配准效果的，未配准的图像和真实的红外图像算出来的NCC是0.88左右

[Gargantua43]

@code2497 请问，在第二条中，您有对RoadScene图像做缩放嚒？

[123abxc]

您是用自己训练的权重吗 我是用的官方提供的 运行test_reg.py配准效果基本没有 @code2497

[code2497]

@code2497 请问，在第二条中，您有对RoadScene图像做缩放嚒？

没有，README里有已经缩放到256×256的图像数据集

[code2497]

您是用自己训练的权重吗 我是用的官方提供的 运行test_reg.py配准效果基本没有 @code2497

是的，我这边自己训练的，官方给的我试了一下，感觉也是没有配准效果

[123abxc]

谢谢 @code2497

[123abxc]

但是不理解就是这个train_reg.py的输入，根据网络结构图应该是伪红外和变形后的失真图像，但是您用的是原图像，这点也是不怎么理解 @code2497

[code2497]

但是不理解就是这个train_reg.py的输入，根据网络结构图应该是伪红外和变形后的失真图像，但是您用的是原图像，这点也是不怎么理解 @code2497

训练代码里面会自动生成变形后的失真图像拿去训练

[123abxc]

喔喔明白了 谢谢 @code2497

[Gargantua43]

@code2497 俺还有一个问题：就是在执行get_test_data.py生成的ir_warp图像，图像两侧都有不同程度的黑边。您也是这样的嚒？？

[Gargantua43]

请问您是如何执行的get_test_data.py？ 其中"-vi"与“-ir”对应于RoadScene数据集中什么图片呢？？非常感谢您的回答

[654hhh]

--dst应该怎么删除？

[xiaomudsg]

您是用自己训练的权重吗 我是用的官方提供的 运行test_reg.py配准效果基本没有 @code2497

请问您最后解决这个问题了吗？我也是用官方的预训练模型配准，发现并没有效果。

[xiaomudsg]

@code2497 但是尝试这个结果运行的结果也有问题 似乎并没有配准 请问您成功复现了嘛

我这边实验是这样做的

1. 运行train_reg.py进行训练，--ir为真实的RoadScene红外图像（不是变形后的），--it为CPSTN生成的伪红外图像，训练了300个epoch
2. 运行test_reg.py生成配准后的图像，--ir为形变后的红外图像（我这里还是用的RoadScene形变后的红外图像），--it同上。
3. 运行Evaluation/metrics.py，将main函数里的root_in改成test_reg.py生成的配准后图像（ir_reg），root_gt为真实的RoadScene红外图像
4. 最后运行metrics.py生成的指标为Average MSE=0.0047728, NCC=0.94892, LNCC=0.59055，感觉还是有配准效果的，未配准的图像和真实的红外图像算出来的NCC是0.88左右

请问您在训练过程中用的伪红外图像是用官方所给的预训练模型训练的出来的吗？我这里用官方的生成伪红外图像预训练模型会报错，期待您的回复。

[xiaomudsg]

@code2497 但是尝试这个结果运行的结果也有问题 似乎并没有配准 请问您成功复现了嘛

我这边实验是这样做的

1. 运行train_reg.py进行训练，--ir为真实的RoadScene红外图像（不是变形后的），--it为CPSTN生成的伪红外图像，训练了300个epoch
2. 运行test_reg.py生成配准后的图像，--ir为形变后的红外图像（我这里还是用的RoadScene形变后的红外图像），--it同上。
3. 运行Evaluation/metrics.py，将main函数里的root_in改成test_reg.py生成的配准后图像（ir_reg），root_gt为真实的RoadScene红外图像
4. 最后运行metrics.py生成的指标为Average MSE=0.0047728, NCC=0.94892, LNCC=0.59055，感觉还是有配准效果的，未配准的图像和真实的红外图像算出来的NCC是0.88左右

请问您愿意提供您训练的配准模型嘛？我电脑配置不行暂时无法训练，想用您的预训练模型看看效果。