search

wyhlaowang / LDFusion

[LDFusion] Official implementation for "Infrared and visible Image Fusion with Language-driven Loss in CLIP Embedding Space"
16 stars 2 forks source link

图1中可见光图像分类得分问题 #4

Open GlossRain opened 2 months ago

GlossRain commented 2 months ago

你好，我将MSRS的可见光图像与文中的文本描述（["an infrared image", "a visible gray image"]）计算分类结果的时候，反而得到"an infrared image"的概率更大，论文中图1的结果是在哪个数据集上得到的？

GlossRain commented 2 months ago

你好，我将MSRS的可见光图像与文中的文本描述（["an infrared image", "a visible gray image"]）计算分类结果的时候，反而得到"an infrared image"的概率更大，论文中图1的结果是在哪个数据集上得到的？

这里用的是RN50的权重，ViT-B/32的结果是正常的

wyhlaowang commented 2 months ago

你好！图1为M3FD数据集的测试结果，基于CLIP（ViT-B/32）得出，这个版本的CLIP对红外图像和可见光图像有很好的感知和分类能力。