search

Syencil / mobile-yolov5-pruning-distillation

mobilev2-yolov5s剪枝、蒸馏，支持ncnn，tensorRT部署。ultra-light but better performence！
MIT License
821 stars 163 forks source link

feature蒸馏的一些疑惑 #75

Closed xxxwuwq closed 2 years ago

xxxwuwq commented 2 years ago

关于feature蒸馏一些疑惑

  1. 蒸馏时似乎，没有将SConverter*(T_Converter由于只有RELU，所以加不如入训练无关紧要)的可训练参数加入优化器优化？这使得会使得feature loss比较难以下降
  2. 目前的方式似乎还是全特征图蒸馏，可以考虑一波只在感兴趣区域进行蒸馏