Variational Convolutional Neural Network Pruning

[idekazuki]

CVPR2019 チャネルレベルのPruningのための変分ベイズスキームの提案 channel saliency という新しいパラメータの分布を推定する変分法を導入

チャネルプルーニング既存の欠点 ・プルーニングしたあとに再学習が必要 ・再学習した後にプルーニングしたやつが重要だった。残したチャネルが重要ではなかった ＝＞そこでchannel saliencyの分布を見ていらないチャネルを確率変分推論を用いて削除。

提案手法は圧縮と高速化両方で良いパフォーマンスかつ再学習を必要としない

[27]Learning efficient convolutional networks through network slimming ではBNのスケールのパラメータγだけでプルーニングをしているが、シフトのパラメータβを無視している。 問題点は2つ ・スケールとシフトは独立している。 ・隠れ層のパラメータは学習を数回繰り返すと大幅に変化する。

そこでBNの式をγがシフトのパラメータにもかかるように再定義。 channel saliencyの真の事後分布を求めるのは無理なので近似のために変分推論を用いる。