如何对yolox进行知识蒸馏

HikariTJU / LD

Localization Distillation for Object Detection (CVPR 2022, TPAMI 2023)

Apache License 2.0

355 stars 51 forks source link

Open Zhao-Jiayi opened 2 years ago

Zhao-Jiayi commented 2 years ago

我看config里面没有yolox的，如果我想对yolox进行蒸馏是不是需要仿照着写一个配置文件

HikariTJU commented 2 years ago

除了配置文件，还要写head和detector

Zhao-Jiayi commented 2 years ago

好的谢谢

Qia98 commented 2 years ago

请问单阶段网络（如config里面的YOLOv3）的蒸馏策略是怎么样的？teacher和student如何选取？以及损失函数如何处理？

HikariTJU commented 2 years ago

我们没做yolov3 有retina gfl atss

Zzh-tju commented 2 years ago

@nieweiqiang 与RetinaNet类似，teacher的AP比student大2~5个点就行了。LD loss就是师生概率分布的KL loss，weight与regression loss用一样的

Miky9527 commented 1 year ago

请问有实现了在yolox上蒸馏成功的案例吗？有问题想请教一下