Knowledge Distillation for Optimization of Quantized Deep Neural Networks

[usersan]

0. 論文

Sungho Shin, Yoonho Boo, and Wonyong Sung

https://arxiv.org/abs/1909.01688

1. どんなもの？

色々な量子化DNNにKnowledge Distillationを適用。

2. 先行研究と比べてどこがすごい？

3. 技術や手法のキモはどこ？

ハードLossとソフトLossの比を調整する手法を提案。 トレーニングが進むにつれてソフトLossを減らしていく。

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

• hinton2015distilling: https://arxiv.org/abs/1503.02531