search

tanluren / yolov3-channel-and-layer-pruning

yolov3 yolov4 channel and layer pruning, Knowledge Distillation 层剪枝，通道剪枝，知识蒸馏
Apache License 2.0
1.5k stars 446 forks source link

有关通道裁剪中 global_percent 和 layer_keep 这两个超参数的意义 #107

Open xuanyuyt opened 3 years ago

xuanyuyt commented 3 years ago

首先感谢码主的奉献！这里有个疑问，既然我们可以将 bn 层的 gamma 经过排序，那么为什么不直接观察排序后的结果，直接选择一个合适阈值进行剪枝，而是通过 global_percent 这个超参数确定一个阈值后再利用 layer_keep 这个超参数限制剪枝程度？当然用直接用观察得到的阈值来裁剪会使得各层通道数量参差不齐。请问大佬，这里有什么讲究吗？

zbyuan commented 3 years ago

针对不同的数据 这个阈值不好衡定