search

Eric-mingjie / network-slimming

Network Slimming (Pytorch) (ICCV 2017)
MIT License
907 stars 214 forks source link

关于BN层bias的裁剪 #53

Open wxy1234567 opened 4 years ago

wxy1234567 commented 4 years ago

你好，我注意到对于要裁剪的BN，是直接通过mask将整个通道减掉了没有保留β偏移，根据L1稀疏训练的原理，是否应该将BN的β保留到下一层比较合理.。

Eric-mingjie commented 4 years ago

请问β偏移值得是什么?至于是否合理，这个不好说，这个repo提供的是原论文的实现，code是完全基于network slimming提出的方法。

wxy1234567 commented 4 years ago

BN的公式：y=γ*x+β，L1正则后使得γ接近于0，但是好像没有考虑到β，直接全剪掉了

Eric-mingjie commented 4 years ago

论文本身没有考虑beta

PeiqinSun commented 2 years ago

从输出的角度来看, 同一个beta相当于这个channel什么信息也没有学到. 故剪掉是合理的.