csuhan / opendet2

Official code of the paper "Expanding Low-Density Latent Regions for Open-Set Object Detection" (CVPR 2022)
https://arxiv.org/abs/2203.14911
103 stars 11 forks source link

我的一些理解 #21

Open jinweiisgreat opened 1 year ago

jinweiisgreat commented 1 year ago

说一下我的理解和问题:

  1. 做不了细分类的原因是,训练阶段的mini-batch是只获取IoU0.5以上的框,目的就是对已知instance建模。因此整个模型就没有考虑到unknown instance。只是在test的时候,或者说,相当于后处理方法,给目标一个分数来判断是否是已知或者未知,这也是为什么文中会说:“Furthermore, since background proposals usually overwhelm the mini-batch, we sample the same number of foreground and background proposals, enabling our model to recall unknown objects from the background class.”
  2. 我的问题是,我在 只找到正样本部分,没找到处理负样本的代码。这虽然会让正样本类会更近,但并不会让不同类的样本更远呀? 希望得到回复!谢谢
csuhan commented 1 year ago
  1. 是的。模型只能找到和foreground相似的unknown
  2. 正样本:known classes。负样本:background。在known classes + background之间计算contrastive loss会让不同类更远的。