Open ArtyZe opened 4 years ago
您好,我在使用蒸馏后,简单和中等目标准确率确实向teacher网络靠近了,但是困难目标精度map值下降较多,请问您使用时遇到过这种情况吗?多谢
知识蒸馏对复杂样本还是有一定的局限性,看下有没有好的思路交流下
困难目标精度map值下降较多是相对不使用蒸馏情况还是相对teacher?剪枝后特别是过度剪枝的话模型可能受损,本身精度下降,蒸馏辅助未必能帮助回升多少。这里的蒸馏只是实验性的辅助,建议还是从剪枝比例角度减少精度损失
您好,我在使用蒸馏后,简单和中等目标准确率确实向teacher网络靠近了,但是困难目标精度map值下降较多,请问您使用时遇到过这种情况吗?多谢