Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1

[usersan]

0. 論文

Matthieu Courbariaux, Itay Hubara, Daniel Soudry, Ran El-Yaniv, Yoshua Bengio

https://arxiv.org/abs/1602.02830

Qiita https://qiita.com/harmegiddo/items/8988a60430dc6184a033

1. どんなもの？

パラメータだけでなく、アクティベーションもバイナリ化 これにより、演算がXNORと同じになり、積和演算が1bit XNORのカウント操作に置き換えられる

2. 先行研究と比べてどこがすごい？

アクティベーションもバイナリ化したとこ

3. 技術や手法のキモはどこ？

バイナリ化のsign(x)はどこでも勾配が0なので、hard tanhを使う Htanh(x) = clip(x, -1, 1)

シフトベースBatchNorm BNの近似 分散と正規化の計算で乗算をシフト演算に置き換え

4. どうやって有効だと検証した？

MNIST、CIFAR-10、SVHN

5. 議論はある？

6. 次に読むべき論文は？

[usersan]