search

ShengkaiWu / IoU-aware-single-stage-object-detector

IoU-aware single-stage object detector for accurate localization
65 stars 10 forks source link

您好，请问您的方法可以用来改进CornerNet吗 #1

Closed liangqiLQ closed 4 years ago

ShengkaiWu commented 4 years ago

不好意思回复晚了。 理论上，CornerNet的检测中也是存在detection confidence和定位精度不匹配的问题。通过预测每个检测的定位精度，并与预测的detection confidence相乘得到final detection confidence可以在一定程度上缓解该问题。 但是CornerNet与RetinaNet和FCOS等直接预测检测框的检测模型不同。RetinaNet和FCOS直接在每个位置预测检测框，因此可直接添加IoU head为每个位置预测的检测框预测定位精度。但是CornerNet首先预测top-left corner和其对应的top-left corner embedding，bottom-right corner和其对应的bottom-right corner embedding，然后计算top 100 top-left corner和top 100 bottom-right corner之间的embedding的L1距离，距离小于0.5认为为候选的检测框，并通过soft-NMS去除重复检测框，即CornerNet在训练阶段未形成可直接使用的检测框，只有通过inference阶段的后处理才形成了有效的检测框。要实现IoU-aware CornerNet，问题在于：在inference阶段的后处理中才能形成有效的检测的情况下，如何预测CornerNet生成的检测框的定位精度？如果这个问题能够很好地解决，IoU-aware CornerNet应该会对模型有一定的提升

liangqiLQ commented 4 years ago

十分感谢您 如此细心的回复，拜读之后收益匪浅，我这就下去实验试试。