e4exp
commented
3 years ago - はじめに
近年の自己教師付き学習の発展により，下流の課題において，完全に教師付きのネットワークから生成された表現に匹敵する視覚表現が得られるようになった[15]． 学習時に大量のラベルを必要としないということは，現在，教師を得ることが困難であったり，コストがかかったりする領域の課題に取り組む能力を向上させる可能性があるからである． しかし，一部の例外を除いて，現在の最先端のアプローチの大部分は，ImageNet [34]のような標準的なデータセットを用いて開発・評価されています． そのため、これらの手法を他のデータセットに適用した場合に、どの程度の効果があるのかを十分に理解していないのが現状である。 本論文では，「自己教師付き対比表現学習法は，どのような条件下で「良い」視覚表現を学習するのか？ 特に、以下の質問に答えようとしている。
(i) データ量の影響は何か？ 具体的には，事前学習に必要なラベルなし画像の数と，その数を増やしたり減らしたりした場合にどうなるのか？ 線形分類器の学習や、下流のタスクのエンド・ツー・エンドの微調整には、どの程度のラベル付きデータが必要か？ どのような場合に、完全な監視下で学習されたものよりも自己教師付きの特徴が優れているのか？
(ii) 前処理領域の影響は何か？ ImageNetでの自己教師付き手法の学習から得られた知見は，精選されていない，あるいは異なる視覚的特性を持つ他のデータセットでの学習に一般化するか？ あるドメインで訓練された自己教師付き表現は、他のドメインにどの程度移行できるか？
(iii) データの質の影響は何ですか？ 自己教師法は、低解像度、圧縮アーチファクト、ノイズなどの学習時の画像の破損に対してどの程度頑健か？ 破損した画像で事前学習を行うと、破損していない画像での下流のパフォーマンスが低下するのか？
(iv) タスクの粒度の影響は何ですか？ 自己教師付き学習は、「簡単な」分類タスクにのみ有効な特徴になるのか、それとも、より困難で細かい視覚的概念にも有効なのか？
我々は、4つの多様な大規模ビジュアルデータセットを対象とした広範な定量的評価を通じて、上記の質問（図1参照）に取り組みました。 その結果、以下のような興味深い見解と提言が得られました。
- ImageNet規模のデータセットでは，ラベルのないトレーニングデータの量を半分に減らしても（100万画像から50万画像へ），下流の分類性能は1〜2％しか低下しません．多くの場合、このトレードオフは妥当であり、事前トレーニングを大幅に高速化することができます。また、このことは、現在の自己教師付き手法では、非常に大きな事前トレーニングセットを利用できない可能性があることを意味しています。
- テストドメインと同じドメインの画像から学習した自己教師付き表現は，異なるドメインから学習したものよりもはるかに効果的である（表1）．しかし，現在のデータセットを用いた自己教師付き学習では，多くの文脈に一般化しやすい表現を学習するのに十分ではないかもしれない．
- (i)前処理の前にデータセットを組み合わせる方法(表2)や、(ii)異なるデータセットから学習した自己教師付き特徴量を組み合わせる方法(表3)では、大幅な性能向上は見られなかった。大規模かつ多様なデータセットから一般化可能な表現を自己教師付き手法で学習するには，さらなる研究が必要であると考えられる．
- 現在の自己教師付き手法は、粗い粒度の視覚的概念を簡単に識別できる表現を学習する。しかし、概念の粒度が細かくなると、教師ありのベースラインに比べてパフォーマンスが著しく低下する。このコントラスト損失は、粗い粒度の特徴の学習を促す傾向があるが、細かい粒度のタスクには不十分であると考えられる。
最近の自己教師付き表現学習技術により，ImageNet分類における教師付き学習と教師なし学習の間のギャップがほぼ解消された． ImageNet上での事前学習の特殊性は比較的よく理解されていますが、この成功を他のデータセットで再現するための広く受け入れられたベストプラクティスはまだありません。 この方向への第一歩として、我々は4つの多様な大規模データセットで対照的な自己教師付き学習を研究する。 データ量、データ領域、データ品質、タスク粒度の観点から、自己教師付き学習を成功させるための必要条件について新たな知見を得ることができた。 その結果、次のような知見が得られました。
(i) 50万枚を超える事前学習データを追加しても、その効果はわずかであること、 (ii) 別の領域の事前学習画像を追加しても、より一般的な表現にはならないこと、 (iii) 破損した事前学習画像は、教師付き事前学習と自己教師付き事前学習に異なる影響を与えること、 (iv) 細かい視覚分類タスクでは、コントラスト学習は教師付き学習に大きく遅れをとること、などである。