[6] BEiT: BERT Pre-Training of Image Transformers

[omocomo]

Links

• Paper : https://arxiv.org/abs/2106.08254
• Github : https://github.com/microsoft/unilm/tree/master/beit

한 줄 요약

• 사전 학습 모델인 BERT의 훈련 방식을 이미지 모델에 적용했다.

선택 이유

• 지난 대회에서 이미지 모델로 ViT, DeiT, BEiT를 적용해봤는데, BEiT가 BERT와 관련이 있다 정도로만 알고 있어서 선택하였다.
• self-supervised learning에 대한 이해도를 높이고 싶다.
• 다음으로 Masked Autoencoders are scalable vision learner를 읽어볼 예정이다.