Open wxy1234567 opened 4 years ago
你好,我注意到对于要裁剪的BN,是直接通过mask将整个通道减掉了没有保留β偏移,根据L1稀疏训练的原理,是否应该将BN的β保留到下一层比较合理.。
请问β偏移值得是什么?至于是否合理,这个不好说,这个repo提供的是原论文的实现,code是完全基于network slimming提出的方法。
BN的公式:y=γ*x+β,L1正则后使得γ接近于0,但是好像没有考虑到β,直接全剪掉了
论文本身没有考虑beta
从输出的角度来看, 同一个beta相当于这个channel什么信息也没有学到. 故剪掉是合理的.
你好,我注意到对于要裁剪的BN,是直接通过mask将整个通道减掉了没有保留β偏移,根据L1稀疏训练的原理,是否应该将BN的β保留到下一层比较合理.。