Open luckin99 opened 1 year ago
您好!阅读了你们的LD,真是非常impressive的工作!我最近在尝试mmrazor的框架下复现LD。我发现LD的蒸馏直接写进了head里,我希望实现一个简易版的LD,即我直接取出网络的分类头输出的大小为NCHW的cls map,然后转化为(-1,80)类的logits,直接对选出logit进行分类蒸馏,然后再进一步完成对reg map蒸馏,但结果差强人意。分类头输出的是NCHW的map,无论我是用bce loss和kl loss,都没有出现比较好的结果。能问下您这边有类似这种实现方法的尝试或者参考经验吗 十分感谢!
在我们的实验里,分类蒸馏结果也一般
我就是希望在这上面进行一些改进,大佬能给些参考的代码或者你在实现这部分代码时的参考吗
发现比较难做一个各种检测器通用的方法
代码都在都在这个repo里呀,ld_head.py 和 kd_loss.py
通用的是很难做的,因为各个检测器都有一些不一样的结构
真正通用的话你可能得去改mmcv的trainer
您好!阅读了你们的LD,真是非常impressive的工作!我最近在尝试mmrazor的框架下复现LD。我发现LD的蒸馏直接写进了head里,我希望实现一个简易版的LD,即我直接取出网络的分类头输出的大小为NCHW的cls map,然后转化为(-1,80)类的logits,直接对选出logit进行分类蒸馏,然后再进一步完成对reg map蒸馏,但结果差强人意。分类头输出的是NCHW的map,无论我是用bce loss和kl loss,都没有出现比较好的结果。能问下您这边有类似这种实现方法的尝试或者参考经验吗 十分感谢!