nogawanogawa
commented
2 years ago Masked Autoencoders Are Scalable Vision Learners
論文URL
https://arxiv.org/abs/2111.06377
著者
Kaiming He, Xinlei Chen, Saining Xie, Yanghao Li, Piotr Dollár, Ross Girshick (Facebook AI Research (FAIR))
会議
- (今の所Arxivのみ)
背景
NNのモデルは年々複雑かつ大容量になってきており、それに伴って巨大なデータセットで合っても過学習しやすくなっている。そのため、学習のためにこれまで以上に巨大なデータセットが必要になってきている。また、それに伴って学習時間の長時間化も問題になっている。
一般に、巨大なラベル付き画像データを用意・使用するのは簡単ではなく、汎用的な用途で使用できる自己教師あり学習が注目されている。
目的
- 効果的な自己教師あり学習の手法の考案
- データ量は少なく
- 学習時間は短く
アプローチ
- masked autoencoders (MAE) の手法
- 75％にも及ぶ画像の部分をマスクして画像を再構築する事前学習
zerebom
Why
Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。
prev. #119
What
話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！