The official implementation of [CVPR2022] Decoupled Knowledge Distillation https://arxiv.org/abs/2203.08679 and [ICCV2023] DOT: A Distillation-Oriented Trainer https://openaccess.thecvf.com/content/ICCV2023/papers/Zhao_DOT_A_Distillation-Oriented_Trainer_ICCV_2023_paper.pdf
@Zzzzz1 Hi,您好,麻烦检查一下你们paper中的ResNet50-MobileNetV2的setting是否对比正确,表格里的其余方法实质上都是使用的MobileNetV1 model,这一点可以从以下几篇paper中验证:
ReviewKD:估计是paper里cite错了,虽然cite的是mbv2,但是实际上开源代码里用的是mbv1,参见:https://github.com/dvlab-research/ReviewKD/blob/master/ImageNet/models/mobilenet.py
OFD:paper里报的结果和cite的paper都是mbv1
如果是你们的student模型用错了,麻烦对表格进行一下更正吧。最近已经发现几篇最新的paper错误使用了mbv2的模型来对比之前mbv1的方法了。不胜感激!
Originally posted by @hunto in https://github.com/megvii-research/mdistiller/issues/4#issuecomment-1180064202