[24] MAE: Masked Autoencoders Are Scalable Vision Learners

[Dongwoo-Im]

Links

• Paper : https://arxiv.org/abs/2111.06377
• Github : https://github.com/facebookresearch/mae

한 줄 요약

• Self-supervised learning 중 masked image modeling 개념을 적용한 논문으로, NLP 도메인과의 차이점을 고려하여 높은 masking 비율을 적용한 것이 특징이며, encoder에는 masked token을 학습하지 않도록 하여 pre-trianing cost를 줄였습니다.

선택 이유

• 비슷한 시기에 나온 여러 논문들 중 가장 인용 수가 높고, 최근 논문들이 MAE를 따르는 경우가 많은 것 같아서 선정했습니다.

[Dongwoo-Im]

https://dongwoo-im.github.io/papers/review/2023-03-08-MAE/