[20] SDMP : A Simple Data Mixing Prior for Improving Self-Supervised Learning

[Dongwoo-Im]

Links

• Paper : https://arxiv.org/abs/2206.07692
• Github : https://github.com/OliverRensu/SDMP

한 줄 요약

• Self-supervised learning 분야에서 Mixup, Cutmix, ResizeMix와 유사한 data mixing augmentation을 제안한 논문으로, transformer를 backbone으로 했던 Moco-v3(contrastive learning), DINO(knowledge distilation) 방법론에 적용하여 성능 개선을 보였다.

선택 이유

• Data mixing을 어떤 방식으로 self-supervised learning에 적용했는지 확인하기 위해 선택했다.
• 다만, 근본적으로 data mixing이 왜 좋은지를 다룬 것 같지는 않았다. 그리고 github에 Moco-v3 코드만 존재하고 DINO 코드는 없는 점이 아쉽다.

[Dongwoo-Im]

notion link