Open shimopino opened 4 years ago
[arXiv:2009.08453] MEAL V2: Boosting Vanilla ResNet-50 to 80%+ Top-1 Accuracy on ImageNet without Tricks
Zhiqiang Shen, Marios Savvides
2020-09-17
CNNを採用している深層学習モデルに関して、分類タスクや物体検知タスクにおける精度を向上させるためのテクニックが数多く存在している。
本研究では、学習プロセスに教師-生徒モデルによる蒸留を採用することで、こうした数多くのテクニックを使用することなく、ResNet-50にてImageNetで80%を超える精度を達成できる学習方法を提案している。
先行研究にて提案されているMEALでは、1回の学習Iterationに対して、教師モデルを1つ選択し出力値を計算していた。
しかし本研究では、複数の事前学習済みの教師モデルのソフトマックス値の平均を使用する。
https://github.com/szq0214/MEAL-V2
論文へのリンク
[arXiv:2009.08453] MEAL V2: Boosting Vanilla ResNet-50 to 80%+ Top-1 Accuracy on ImageNet without Tricks
著者・所属機関
Zhiqiang Shen, Marios Savvides
投稿日時(YYYY-MM-DD)
2020-09-17
1. どんなもの?
2. 先行研究と比べてどこがすごいの?
CNNを採用している深層学習モデルに関して、分類タスクや物体検知タスクにおける精度を向上させるためのテクニックが数多く存在している。
本研究では、学習プロセスに教師-生徒モデルによる蒸留を採用することで、こうした数多くのテクニックを使用することなく、ResNet-50にてImageNetで80%を超える精度を達成できる学習方法を提案している。
3. 技術や手法の"キモ"はどこにある?
先行研究にて提案されているMEALでは、1回の学習Iterationに対して、教師モデルを1つ選択し出力値を計算していた。
しかし本研究では、複数の事前学習済みの教師モデルのソフトマックス値の平均を使用する。
4. どうやって有効だと検証した?
5. 議論はあるか?