tanluren / yolov3-channel-and-layer-pruning

yolov3 yolov4 channel and layer pruning, Knowledge Distillation 层剪枝,通道剪枝,知识蒸馏
Apache License 2.0
1.5k stars 446 forks source link

关于稀疏训练和剪枝的阈值 #171

Open curryJ opened 2 years ago

curryJ commented 2 years ago

谢谢楼主的工程;我在使用yolov4进行稀疏训练然后进行剪枝的时候,对一个地方有点困惑; 当我在进行稀疏训练的时候,bn weights分布如下 image

剪枝代码中,选取的阈值上限是每个BN层的gamma的最大值的最小值,但是当我稀疏训练迭代的次数越多,我在实验中观察到这个阈值是越来越小的,对应的剪枝率也是越来越小。当我设置的剪枝率比较大的时候,效果就很差了。 image image