BlossomingL / compression_tool

A compression tool based on distiller
15 stars 5 forks source link

关于FPGM和HRank #1

Open bezorro opened 3 years ago

bezorro commented 3 years ago

Hi,我也曾经是distiller的深度用户。 看你在这份代码增加了FPGM和HRank,想问一下这两个通道排序算法是否有效。 我个人也曾经尝试过BN-gamma[1] 、Taylor[2] 、L1[3]。 在我的大量实验下,排序效果:Taylor = L1 > BN-gamma。 想问一下,你有没有试过把FPGM和HRank和上述方法对比过呢?

[1] Learning Efficient Convolutional Networks Through Network Slimming [1] Importance Estimation for Neural Network Pruning [2] Pruning Filters for Efficient ConvNets

BlossomingL commented 3 years ago

刚看到,非常不好意思,最近一直研究您的Eagle Eye去了,页面一直停留在您的github,哈哈哈。 Q1: FPGM和HRank对比,我复现过两者的论文,都是在ImageNet上的ResNet系列,FPGM复现效果达到原论文;而HRank没有达到,求问HRank的作者感觉他也不是那么的乐意,可能是我的训练有问题吧。我也在自己目前的公司研发的模型和数据集上跑过这三个剪枝算法,结果是FPGM>L1Rank>HRank,对于FPGM一般剪大模型的一半不掉精度,剪轻量级的网络会掉5个点。 Q2: 您说的[1][2]我都没试验过。