lidq92 / CNNIQA

[unofficial] CVPR2014-Convolutional neural networks for no-reference image quality assessment
163 stars 39 forks source link

Doubts about testing metrics #44

Closed ctxya1207 closed 6 months ago

ctxya1207 commented 7 months ago

Validation Results - Epoch: 431 SROCC: 0.0865 KROCC: 0.0628 PLCC: 0.0553 RMSE: 27.1083 MAE: 22.8260 OR: 86.42% Testing Results - Epoch: 431 SROCC: -0.0685 KROCC: -0.0521 PLCC: -0.0312 RMSE: 26.2257 MAE: 21.7633 OR: 86.88% Why is my SROCC value so low

lidq92 commented 6 months ago

The provided information is not sufficient to answer your question. BTW, this is an unofficial reimplementation of the method proposed by (Kang et al., CVPR 2014). You can also refer to other available implementations.

ctxya1207 commented 6 months ago

所提供的信息不足以回答您的问题。 顺便说一句,这是对(Kang 等人,CVPR 2014)提出的方法的非官方重新实现。您还可以参考其他可用的实现。 我是按照你的要求,来训练LIVE数据集,但是结果是由上述所示我的SROCC数值很小或者为负值,这是为什么呢

lidq92 commented 6 months ago

这个代码已经是很久很久之前的了,如果你正确安装了requirements里面的环境,应该是没问题的。

你现在说的这些我无法给你判断。我也不建议你用这个陈年老代码。 你可以参考我这个比较新的代码:https://github.com/lidq92/LinearityIQA

ctxya1207 commented 6 months ago

这个代码已经是很久很久之前的了,如果你正确安装了requirements里面的环境,应该是没问题的。

你现在说的这些我无法给你判断。我也不建议你用这个陈年老代码。 你可以参考我这个比较新的代码:https://github.com/lidq92/LinearityIQA

好的谢谢,主要我想用这个代码来做对比实验,跑出来的结果就是有点出乎意料

ctxya1207 commented 6 months ago

这个代码已经是很久很久之前的了,如果你正确安装了requirements里面的环境,应该是没问题的。

你现在说的这些我无法给你判断。我也不建议你用这个陈年老代码。 你可以参考我这个比较新的代码:https://github.com/lidq92/LinearityIQA

requirements里的环境就torch版本和你不一样,我的是torch 1.5.0+cu101 pypi_0 pypi,不知道这个会不会影响结果

lidq92 commented 6 months ago

那你还想跑这个代码就在虚拟环境换成一样的,软件版本不一样有一些函数的效果都不一样了。甚至如果你用2.0+的版本都跑不起来这个代码了。这个14年的文章的结果没有什么对比的价值了。

ctxya1207 commented 6 months ago

那你还想跑这个代码就在虚拟环境换成一样的,软件版本不一样有一些函数的效果都不一样了。甚至如果你用2.0+的版本都跑不起来这个代码了。这个14年的文章的结果没有什么对比的价值了。

我是想用他的model来评估其他种类图像的mos值