[18] MoCo v3 : An Empirical Study of Training Self-Supervised Vision Transformers

[Dongwoo-Im]

Links

• Paper : https://arxiv.org/abs/2104.02057
• Github : https://github.com/facebookresearch/moco-v3

한 줄 요약

• BYOL의 prediction head와 large batch size를 적용하여 MoCo v2+의 성능을 끌어올린 MoCo v3를 제안한 논문이다. 추가로, ViT를 backbone으로 여러 실험을 진행하였고, fixed random patch projection trick을 통해 학습의 안정성을 높일 수 있음을 밝혔다.

선택 이유

• ViT를 backbone으로 여러 실험을 진행한 논문이라 프로젝트 진행에 도움이 될 것 같았다.