search

tanluren / yolov3-channel-and-layer-pruning

yolov3 yolov4 channel and layer pruning, Knowledge Distillation 层剪枝，通道剪枝，知识蒸馏
Apache License 2.0
1.5k stars 446 forks source link

bn_weights/hist #15

Open Gaondong opened 4 years ago

Gaondong commented 4 years ago

image

请问bn_weights要训练到多少代表稀疏化完全，看示例图中是300+epoch 值在0.2以下？

tanluren commented 4 years ago

bn_weights/hist图右边的数字是epoch，统计的是所有参与剪枝的层的bn weight；上面的perlayer_bn_weights图右边是层编号，统计的是每层的。你这个看着还好，总体上在压缩，留意精度的变化。

tanluren commented 4 years ago

嗯。。你改了问题？一般压缩到bn基本稳定，同时配合学习率下降让精度回升，epoch数要看你数据集，s，lr

Gaondong commented 4 years ago

嗯。。你改了问题？一般压缩到bn基本稳定，同时配合学习率下降让精度回升，epoch数要看你数据集，s，lr

哦哦 谢谢，每一个行的图就是 gamma参数的分布，我遇到过这种情况，我运行程序给定一个阈值，比如percent0.2，他会给我一个建议的阈值（例如0.6），但我的设置是远低于这个值的，但当我剪完之后 map值会为0

tanluren commented 4 years ago

一般是因为稀疏做的不好。阈值的话在这个项目里你可以设置高过建议的阈值

Gaondong commented 4 years ago

一般是因为稀疏做的不好。阈值的话在这个项目里你可以设置高过建议的阈值

OK 感谢回复！