Linfeng-Tang / PIAFusion

This is official tensorflow implementation of “PIAFusion: A Progressive Infrared and Visible Image Fusion Network Based on Illumination Aware”
MIT License
66 stars 13 forks source link

关于检测 #3

Open yimoo4J opened 1 year ago

yimoo4J commented 1 year ago

非常感谢您的开源代码,请问一下如果在您的代码中做行人检测,那么图像重建模块是不是就是不需要的,还有KAIST数据集支持吗?是不是要把非对齐的图片剔除掉?

Linfeng-Tang commented 1 year ago

行人检测 我们使用的是预训练的YoloV5网络网络检测器。YoloV5的输入是正常的图像,如果没有图像重建模块的话就无法得到融合图像,就不能直接输入到YoloV5中去,那样得重新设计检测网络了。

yimoo4J commented 1 year ago

感谢您的回答,您是将重建后的特征加强的图片再进行yolov5的推理吗?那您用的yolo的推理模型是官方的还是通过重建后的照片重新训练的呢?还有现在的多模态行人检测大多数都是直接可以一个模型端对端的推理,如mbnet,您这个重建后再去喂入yolo的效果如何?时间上或者MR上有优势吗?期望您的指教!

Linfeng-Tang commented 1 year ago

是yolov5对融合后的图像进行推理;用的是官方的模型;目前检测的只验证了融合后的图像相较于源图像有一定的精度提升,还未与多模行人检测的方法进行对比,因为我们更多的还是关注的是图像融合这个任务;时间可能更多的与yolo模型有关;

songwenhao123 commented 1 year ago

请问作者后续进行分割或检测时,直接使用预训练的检测或分割模型可以吗?

songwenhao123 commented 1 year ago

作者是否可以提供您使用的yolov5的代码,万分感谢

Linfeng-Tang commented 1 year ago

我们直接使用的预训练的YOLO模型。

songwenhao123 commented 1 year ago

感谢您的回答,请问检测之后的指标是如何得到的呢,缺少GT

Linfeng-Tang commented 1 year ago

我们已经在MSRS数据集里面提供了80幅图像的检测结果