Closed nogawanogawa closed 2 years ago
NNのモデルは年々複雑かつ大容量になってきており、それに伴って巨大なデータセットで合っても過学習しやすくなっている。そのため、学習のためにこれまで以上に巨大なデータセットが必要になってきている。また、それに伴って学習時間の長時間化も問題になっている。
一般に、巨大なラベル付き画像データを用意・使用するのは簡単ではなく、汎用的な用途で使用できる自己教師あり学習が注目されている。
NLPの世界では、BERTを始めとするMasked autoencodingの手法は上手くいっていたが、画像ではNLPほど上手くはいっていなかった。これは、
などの理由で、画像では上手くいっていなかったと考えている。
画像における精度の高いモデルを作る際の効果的な学習には大量のデータや時間・リソースがかかる
主な仕組みは下図のようになっている。
入力の画像を規則的なパッチに分割し、一部のパッチをサンプリングしてそれ以外は削除します。 これにより、通常よりかなり困難なタスクになっています。
EncoderにはViTをベースにしており、マスクされていないパッチのみに適用される。 ポジションエンコーディングを追加して、パッチを埋め込み、Transformerに入力する。
MAEデコーダへの入力は、エンコードされた可視パッチと、マスクトークンからなるトークンのフルセットを入力される。 マスクトークンは削除されたパッチの存在を表す共有ベクトルになっている。
MAEは、マスクされた各パッチのピクセル値を予測することで、入力を再構成する。
デコーダの出力の各要素は、パッチを表すピクセル値のベクトルになっている。 損失関数は,ピクセル空間における再構成画像と原画像の間の平均二乗誤差(MSE)を計算する. この損失関数は,BERTと同様に,マスキングされたパッチでのみ計算される。
なにもしないべ−スライン、先行研究の実装を適用した場合より、この手法で事前学習をしたほうがMAEは良かった。
最適なマスキングの比率は、75%が最も良さそうという結果になっている
デコーダーの深さ(block)と幅(channel)については、一応とっているが、値を変化させてもそこまで大きな差は出ていないように見える
75%もの部分をマスクするので、計算時間が劇的に短くなる。(計算量自体が削減されるから) 計算時間としては、2.8〜4.1倍程度まで高速化することができた。
ランダムが良さそう
選考小円級より良い値が出てる。
論文URL
https://arxiv.org/abs/2111.06377
著者
Kaiming He, Xinlei Chen, Saining Xie, Yanghao Li, Piotr Dollár, Ross Girshick (Facebook AI Research (FAIR))
会議
背景
NNのモデルは年々複雑かつ大容量になってきており、それに伴って巨大なデータセットで合っても過学習しやすくなっている。そのため、学習のためにこれまで以上に巨大なデータセットが必要になってきている。また、それに伴って学習時間の長時間化も問題になっている。
一般に、巨大なラベル付き画像データを用意・使用するのは簡単ではなく、汎用的な用途で使用できる自己教師あり学習が注目されている。
目的
アプローチ