简易版本复现问题

luckin99 commented 1 year ago

您好！阅读了你们的LD，真是非常impressive的工作！我最近在尝试mmrazor的框架下复现LD。我发现LD的蒸馏直接写进了head里，我希望实现一个简易版的LD，即我直接取出网络的分类头输出的大小为NCHW的cls map，然后转化为（-1，80）类的logits，直接对选出logit进行分类蒸馏，然后再进一步完成对reg map蒸馏，但结果差强人意。分类头输出的是NCHW的map，无论我是用bce loss和kl loss，都没有出现比较好的结果。能问下您这边有类似这种实现方法的尝试或者参考经验吗十分感谢！

HikariTJU commented 1 year ago

在我们的实验里，分类蒸馏结果也一般

luckin99 commented 1 year ago

我就是希望在这上面进行一些改进，大佬能给些参考的代码或者你在实现这部分代码时的参考吗

luckin99 commented 1 year ago

发现比较难做一个各种检测器通用的方法

HikariTJU commented 1 year ago

代码都在都在这个repo里呀，ld_head.py 和 kd_loss.py

HikariTJU commented 1 year ago

发现比较难做一个各种检测器通用的方法

通用的是很难做的，因为各个检测器都有一些不一样的结构

真正通用的话你可能得去改mmcv的trainer

HikariTJU / LD

简易版本复现问题 #66