MEAL V2: Boosting Vanilla ResNet-50 to 80%+ Top-1 Accuracy on ImageNet without Tricks

Zhiqiang Shen, Marios Savvides

2020-09-17

1. どんなもの？

CNNを採用している深層学習モデルに関して、分類タスクや物体検知タスクにおける精度を向上させるためのテクニックが数多く存在している。

本研究では、学習プロセスに教師-生徒モデルによる蒸留を採用することで、こうした数多くのテクニックを使用することなく、ResNet-50にてImageNetで80%を超える精度を達成できる学習方法を提案している。

先行研究にて提案されているMEALでは、1回の学習Iterationに対して、教師モデルを1つ選択し出力値を計算していた。

しかし本研究では、複数の事前学習済みの教師モデルのソフトマックス値の平均を使用する。