关于评价指标的问题

jbwang1997 / OBBDetection

OBBDetection is an oriented object detection library, which is based on MMdetection.

Apache License 2.0

525 stars 112 forks source link

Closed yyuxin closed 2 years ago

yyuxin commented 2 years ago

您好，非常感谢你的工作。我想问一下，我在训练过程中，对验证集进行评价的时候，

T SOR$3 8FK(SEZ98FPY@(X

这里面的dets是最终检测出来的目标数量吗？我看比GT多了好多，但是有的ap值确实很高，但是错检的东西不是会影响AP吗，这个AP这么高是不是有点问题？

jbwang1997 commented 2 years ago

AP的计算方法可以参考这里。总结来说就是随着得分阈值的变化准确率会和召回率呈反比，他们之间曲线的下面积就是这个类别的AP。

所以AP值不代表单一得分阈值下的精度，而是所有得分阈值下的综合考量。这个dets数量是得分高于0.05的目标数量，所以虚警率会很高。

yyuxin commented 2 years ago

你这里的指标是AP50是吧？ dets是指选择的是score高于0.05的目标，是吗？
但其实dets表示的就是最终检测的结果对吧，那还是有好多的错检框。

jbwang1997 commented 2 years ago

这里的指标时VOC07的计算方法。0.05的阈值是因为模型最后nms的时候会将得分在0.05一下的目标去除。

里面有很多的错检框，可以通过提高最终的nms中的score_thr去除。

yyuxin commented 2 years ago

谢谢你耐心的回复，我用自己的数据集训，精度不是太高，换用更大的backbone提升也很有限，请问您还有什么办法能提升精度呢

jbwang1997 commented 2 years ago

如果是单纯的准确率的话，可是尝试提升最终nms的score_thr。

yyuxin commented 2 years ago

thanks for your reply!