Distilling the Knowledge in a Neural Network - Githubissues

usersan / papers

読んだ論文のメモ置き場：主にエッジAI、高速化、FPGA実装関連など

0 stars 0 forks source link

Distilling the Knowledge in a Neural Network #3

Open usersan opened 4 years ago

usersan commented 4 years ago

0. 論文

Geoffrey Hinton, Oriol Vinyals, Jeff Dean

https://arxiv.org/abs/1503.02531

1. どんなもの？

アンサンブルしたモデルの知識を単一のモデルに抽出する。

2. 先行研究と比べてどこがすごい？

3. 技術や手法のキモはどこ？

softmax関数に温度Tを入れている。ソフトターゲットを学習に使ったら学習率も上がる？

4. どうやって有効だと検証した？

MNISTで実験自動音声認識(ASR) JFTデータセット

5. 議論はある？

6. 次に読むべき論文は？