FuyaLuo / PearlGAN

Image translation from Nighttime thermal infrared images to Daytime color images.
BSD 2-Clause "Simplified" License
47 stars 3 forks source link

预训练模型复现问题 #4

Closed yupan233 closed 2 years ago

yupan233 commented 2 years ago

FLIR数据集语义分割结果

image

NTIR-->DC:

使用FLIR数据集的testB文件夹中的NTIR图片,先用提供的预训练模型将500张NTIR转换到DC:其中,test.py推理时,原图都会被resize和crop到360x288,最后的结果图也是这个尺寸。

mIOU

然后,使用得到的fake DC集合与作者提供的标签文件(Seg-Uncertainty/FLIR_testsets/Norm_label_img_crop)进行语义分割测试和IOU分数计算。此时输入的DC图和标签图尺寸都是360x288,无crop,最后得到的结果与论文差的有点多。

请问,我该如何调整数据处理过程?肉眼看着确实有效果,但是量化指标实在是差的有点多,烦请作者大大细细指教~~~

yupan233 commented 2 years ago

测试时输入问题

上面提issue时,从NTIR-->DC,输入的图片是大图,在dataset类里面做的缩放,结果与论文出入较大。

然后我算APCE时,发现计算过程中使用的原始NTIR图片需要与生成的DC图片尺寸对齐,也就是在输入模型前的测试图片就需要做缩放与裁剪,于是我在输入前对原始大图作预处理,而不是在dataset自带的类中做transform,这次APCE的结果与论文相近。 顺着这个思路我使用这种预处理的方式,得到了以下的预训练模型的语义分割测试结果,与论文相近。 -22b5e1c3d68d7a98

FuyaLuo commented 2 years ago

测试时输入问题

上面提issue时,从NTIR-->DC,输入的图片是大图,在dataset类里面做的缩放,结果与论文出入较大。

然后我算APCE时,发现计算过程中使用的原始NTIR图片需要与生成的DC图片尺寸对齐,也就是在输入模型前的测试图片就需要做缩放与裁剪,于是我在输入前对原始大图作预处理,而不是在dataset自带的类中做transform,这次APCE的结果与论文相近。 顺着这个思路我使用这种预处理的方式,得到了以下的预训练模型的语义分割测试结果,与论文相近。 -22b5e1c3d68d7a98

语义分割实验测试的时候是需要提前将FLIR原始图像先resize到500x400,然后再中心裁剪出360x288的图像patch,最后再实现NTIR2DC。

yupan233 commented 2 years ago

测试时输入问题

上面提issue时,从NTIR-->DC,输入的图片是大图,在dataset类里面做的缩放,结果与论文出入较大。 然后我算APCE时,发现计算过程中使用的原始NTIR图片需要与生成的DC图片尺寸对齐,也就是在输入模型前的测试图片就需要做缩放与裁剪,于是我在输入前对原始大图作预处理,而不是在dataset自带的类中做transform,这次APCE的结果与论文相近。 顺着这个思路我使用这种预处理的方式,得到了以下的预训练模型的语义分割测试结果,与论文相近。 -22b5e1c3d68d7a98

语义分割实验测试的时候是需要提前将FLIR原始图像先resize到500x400,然后再中心裁剪出360x288的图像patch,最后再实现NTIR2DC。

感谢大大的回复,很不错的工作,论文对这个任务剖析的很清楚,创新很强,工作量扎实。感谢