search

megvii-research / mdistiller

The official implementation of [CVPR2022] Decoupled Knowledge Distillation https://arxiv.org/abs/2203.08679 and [ICCV2023] DOT: A Distillation-Oriented Trainer https://openaccess.thecvf.com/content/ICCV2023/papers/Zhao_DOT_A_Distillation-Oriented_Trainer_ICCV_2023_paper.pdf
807 stars 123 forks source link

detection 复现 #38

Open luckin99 opened 1 year ago

luckin99 commented 1 year ago

作者您好！我尝试在mmdetection的框架下复现您在fasterRCNN的实验，但结果一直不同，能求您分享一下FasterRCNNr101-r50的log吗？ 同时我有一些小的细节问题。我看论文里说是对proposal的cls结果进行kd，但代码中是对rpn head 再过roi_head里的bbox_head得到的结果。第二是这里有用inherit吗？ 谢谢！！！

Zzzzz1 commented 1 year ago

rpn head的输出就是proposal，再经过bbox_head就是该proposal的cls结果呀

luckin99 commented 1 year ago

那我的理解应该没错，就是bbox输出的大小为（1024，81）的logits，但我在复现您这里fasterRCNN-FPN的R101-R50的实验的时候，KD和DKD都出现了性能下降。KD为-1 mAP，dkd为-0.5 mAP，多次尝试都无法复现。您这有log吗，我想对比一下loss尺度可以吗

luckin99 commented 1 year ago

或者这里面有什么训练的trcik吗

Zzzzz1 commented 1 year ago

log确实已经找不到了，时间比较久远。。 复现是指用我们开源的这个代码训det，但是点数对不上吗？ 我们当时用的detectron2版本的commit-id是：221448e4dcfbebf215b8d21ae7e4b1dfbf422d29 不知道对齐版本后能否解决？

Zzzzz1 commented 1 year ago

或者这里面有什么训练的trcik吗

没什么额外的训练trick，用这份代码应该是能跑出来paper中汇报的结果的。