Zzh-tju
commented
2 years ago 特征图上相邻两个点的步长可以差距很大，一个GI location的相邻点未必也是师生分类差距大的点，而使用GI box蒸馏范围就会很大。特别是对于大物体的P3层，如果使用GI box，也就是学生或教师预测框，那么几乎整张图都是蒸馏区域，我们认为这与GI的设计理念有所冲突。说白了，它的GI想要蒸馏的是师生分类得分差距较大的点，而且还使用了NMS就是为了挑选出一个较为离散的区域。但是box内部的点可未必都是师生差距大的点。要知道对于单阶段检测器，特征图上每个点都是一个独立的分类器与定位器，思想上来说你想找出分类差距大的地方蒸馏，就应该尽量避免让分类差距小的地方也参与蒸馏。
此外，RoI Align会消耗额外的运算，减慢训练速度。而且我们无法得知它的RoI Align后的分辨率是多少。它论文没有提及，同时这也是个未开源的工作。其论文提到，引入RoI Align的目的是降低大物体预测框包含的点太多会造成网络更多倾向于大物体。这是有待考证的，因为一旦使用RoI Align把GI box都resize到相同的尺寸，小物体的梯度又会成碾压之势。从它的GISM来看，它似乎是使用所有预测框来做。而分类较为困难的，师生会产生较大分歧的往往是小物体。大物体则相对简单，师生的一致性较好。因此它挑选出的GI box会更多集中在小物体上。而我们由于是在每个FPN层都选了10个点，因此也就无需引入额外的模块来对齐尺寸。(PS: 如果它的GISM也是每个FPN层都选10个GI box，那它使用RoI Align的这个平衡思想与我们就一致。区别是它让大量相邻点也参与了蒸馏。)
因此要实现完整的基于GI box的feature imitation至少要经过RoI Align后尺寸大小的调参，loss weight的调参。经过初步尝试的性能是还不如我们论文实现的简单使用10个GI location，且我们的方法简洁干净。注意到GI论文里RetinaNet ResNet-101蒸馏ResNet-50训练2x的GI box Feature imitation的汇报结果是提高1.7。且注意到它的这项蒸馏loss weight已经低到5e-4了，这表明它的这个实现对超参更为敏感，更需要精细调参。我们是GFocal ResNet-101蒸馏ResNet-50训练1x的GI location Feature imitation提高1.4，loss weight不用改变，性能涨幅差距不大的。
flazerain
我注意到您代码里的实现： idx_out = torch.ops.torchvision.nms(gibox, giscore, 0.3)[:10] return idx_out
gi_idx = self.get_gi_region(soft_label, cls_score, anchors, bbox_pred, soft_targets, stride) gi_teacher = teacher_x[gi_idx] gi_student = x[gi_idx] loss_im = self.loss_im(gi_student, gi_teacher)
并没有像GI 论文里那样使用GIbox ROIAlign 进行FM。
这样的话只选了10个FPN像素进行FM，而且经过NMS 这10个GI box像素附近的点也大概率被抑制掉了，这些像素应该也是信息量比较大的像素。
请问你们这样实现是为什么呢？有试过原文的做法吗，效果怎么样？