megvii-research / mdistiller

The official implementation of [CVPR2022] Decoupled Knowledge Distillation https://arxiv.org/abs/2203.08679 and [ICCV2023] DOT: A Distillation-Oriented Trainer https://openaccess.thecvf.com/content/ICCV2023/papers/Zhao_DOT_A_Distillation-Oriented_Trainer_ICCV_2023_paper.pdf
807 stars 123 forks source link

麻烦检查一下paper中的ResNet50-MobileNetV2 setting #18

Closed hunto closed 2 years ago

hunto commented 2 years ago

@Zzzzz1 Hi,您好,麻烦检查一下你们paper中的ResNet50-MobileNetV2的setting是否对比正确,表格里的其余方法实质上都是使用的MobileNetV1 model,这一点可以从以下几篇paper中验证:

ReviewKD:估计是paper里cite错了,虽然cite的是mbv2,但是实际上开源代码里用的是mbv1,参见:https://github.com/dvlab-research/ReviewKD/blob/master/ImageNet/models/mobilenet.py
OFD:paper里报的结果和cite的paper都是mbv1

如果是你们的student模型用错了,麻烦对表格进行一下更正吧。最近已经发现几篇最新的paper错误使用了mbv2的模型来对比之前mbv1的方法了。不胜感激!

Originally posted by @hunto in https://github.com/megvii-research/mdistiller/issues/4#issuecomment-1180064202

Zzzzz1 commented 2 years ago

感谢你的关注和细心检查!我们ImageNet上的代码和实验表格都是follow了ReviewKD的,因此实验其实都是ResNet50-MobileNetV1的组合,因此对比还是公平的,但是paper误写成了mv2。我们正在更新code和paper的相关说明。

hunto commented 2 years ago

感谢你的及时回复 :)