IIGROUP / MANIQA

[CVPRW 2022] MANIQA: Multi-dimension Attention Network for No-Reference Image Quality Assessment
Apache License 2.0
307 stars 36 forks source link

about config.num_avg_val #9

Closed YaoShunyu19 closed 2 years ago

YaoShunyu19 commented 2 years ago

您好!关于num_avg_val,我有一点疑问。 在train_maniqa中,num_avg_val设置为5,对288288的图像进行5次定点裁剪得到5个224224的图像,然后估计分数取平均值。在inference中,设置为1。 请问您在提交NTIRE2022的过程中是将num_avg_val设置为1得到output.txt的吗?和论文中4.2节最后一段文字有什么关系吗? 希望得到您的解答。

TianheWu commented 2 years ago

您好! 感谢您提出的问题。很高兴为你解答!

在train_maniq中,num_avg_val设置为5是为了与去年IQT的验证图的方式保持一致。这里测5次和论文里提到的是两个事情。这里测5次是五点测图法,可以看我们写的函数,就是左上,右上,左下,右下,和中间五次,取平均。也就是IQT他们的做法,IQT的做法是我们向组委会发邮件时询问到的。因为IQT官方并没有开源。

论文中4.2节最后提到的是我们在做live,csiq,tid2013等其余数据集时的做法,我们在其余数据集进行验证的时候是对每一张图片随机crop20次,再取平均。5次的测试是指随机选择5个random seed,每一个random seed都对应20次随机crop。

我们在NTIRE2022比赛中的做法与做其余数据集验证时不同,为了在比赛中获得更高的分数,我们进行了非常多的测试,集成模型,发现将num_avg_val设置为1时分数更高。但是比赛终究是比赛,真正做实验验证的时候是不能集成模型的,而且对一张图片的分数测试时是不能仅仅只测5次,因此我们选择了crop20次。

YaoShunyu19 commented 2 years ago

感谢您的回复,很有收获。