search

keimoriyama / archive-paper_management

0 stars 0 forks source link

Self-Distillation: Towards Efficient and Compact Neural Networks #5

Open keimoriyama opened 2 years ago

keimoriyama commented 2 years ago

Self-Distillation: Towards Efficient and Compact Neural Networks | IEEE Journals & Magazine | IEEE Xplore

Self-Distillation: Towards Efficient and Compact Neural Networks

背景：なぜその問題を解決したいのか

畳み込みNNは計算リソースをたくさん必要とする．これは，組み込みシステムなどの計算リソースが限られている中で問題がある

目的：どういう問題を解決したのか

知識蒸留は教師モデルのパフォーマンスが生徒モデルのパフォーマンスに与える影響が大きいという課題がある

提案：解決に向けたキーアイデアは何か

そこで，異なるレイヤーの識別器を教師として，識別器同士で蒸留をする手法を提案した

Screen Shot 2022-04-18 at 9 33 24

結果：結局問題は解決されたのか．新しくわかったことは？

既存の蒸留手法よりも良い精度を達成した

Screen Shot 2022-04-18 at 9 34 55