THU-MIG / torch-model-compression

针对pytorch模型的自动化模型结构分析和修改工具集,包含自动分析模型结构的模型压缩算法库
MIT License
234 stars 39 forks source link

yolov5 resrep剪枝 #22

Open Wq-dd opened 1 year ago

Wq-dd commented 1 year ago

使用resrep对yolov5l, yolov5m剪枝,网络无法训练,一开始就就不收敛直接变nan。

gdh1995 commented 1 year ago

不确定,我自己没在这上边训练过。用了预训练模型吗?不用 resrep 的时候能训练不

Wq-dd commented 1 year ago

没用预训练模型,不用resrep可以收敛。

gdh1995 commented 1 year ago

刚开始训练的时候不适合剪枝;可以调参数,增大 warmup_epoch(前多少轮不剪),prune_interval(单位是 iter不是epoch)也可以改大点

Wq-dd commented 1 year ago

还有个问题,就是我发现载剪枝训练过程中某些层通道被剪完了,然后就会报错。有什么方法可以设置每层最低保留的通道数吗?

gdh1995 commented 1 year ago

目前没有吧。它确实有可能每次剪枝都找到同一个层,你可以自己加,在算 lasso 那块 torchslim/pruning/resrep.py: def prune_model(...): index = np.argsort(lasso_value)