Open usersan opened 4 years ago
Matthieu Courbariaux, Yoshua Bengio, Jean-Pierre David
https://arxiv.org/abs/1511.00363
NNの重みをバイナリ化（-1, 1）
順伝播で重みWをバイナリ化してWbとする 更新時にWbを使った勾配でWを更新する そのときに（-1, 1）でクリップ 学習自体はWつまり実数で行う
BatchNorm使用
Wを更新するので、バイナリ化での誤差が蓄積しない
バイナリ化することで乗算を加算にできる
重みをバイナリ化すると正則化の効果が出る クリップすることでパラメータが発散しないようにしている
MNIST、CIFAR-10、SVHNでバイナリ化なしとほぼ同等の性能
量子化関連の論文一覧 https://developer.smartnews.com/blog/2017/03/neural-network-quantization/
0. 論文
Matthieu Courbariaux, Yoshua Bengio, Jean-Pierre David
https://arxiv.org/abs/1511.00363
1. どんなもの？
NNの重みをバイナリ化（-1, 1）
順伝播で重みWをバイナリ化してWbとする 更新時にWbを使った勾配でWを更新する そのときに（-1, 1）でクリップ 学習自体はWつまり実数で行う
BatchNorm使用
2. 先行研究と比べてどこがすごい？
Wを更新するので、バイナリ化での誤差が蓄積しない
3. 技術や手法のキモはどこ？
バイナリ化することで乗算を加算にできる
重みをバイナリ化すると正則化の効果が出る クリップすることでパラメータが発散しないようにしている
4. どうやって有効だと検証した？
MNIST、CIFAR-10、SVHNでバイナリ化なしとほぼ同等の性能
5. 議論はある？
6. 次に読むべき論文は？
量子化関連の論文一覧 https://developer.smartnews.com/blog/2017/03/neural-network-quantization/