search

tanluren / yolov3-channel-and-layer-pruning

yolov3 yolov4 channel and layer pruning, Knowledge Distillation 层剪枝，通道剪枝，知识蒸馏
Apache License 2.0
1.5k stars 446 forks source link

蒸馏后困难目标精度下降较大 #76

Open ArtyZe opened 4 years ago

ArtyZe commented 4 years ago

您好，我在使用蒸馏后，简单和中等目标准确率确实向teacher网络靠近了，但是困难目标精度map值下降较多，请问您使用时遇到过这种情况吗？多谢

zbyuan commented 4 years ago

知识蒸馏对复杂样本还是有一定的局限性，看下有没有好的思路交流下

tanluren commented 4 years ago

困难目标精度map值下降较多是相对不使用蒸馏情况还是相对teacher？剪枝后特别是过度剪枝的话模型可能受损，本身精度下降，蒸馏辅助未必能帮助回升多少。这里的蒸馏只是实验性的辅助，建议还是从剪枝比例角度减少精度损失