[SimCLR v2] Big Self-Supervised Models are Strong Semi-Supervised Learners

[bigshanedogg]

Problem statement

1. Unlabeled data를 간접적으로 활용하는 방법 외에 NLP에서 활용하는 것과 같이 더 직접적으로 활용하는 task-agnostic한 방법을 찾는다.
   • NLP에서의 활용: unsupervised pretrain -> supervised fine-tune
2. unlabeled data를 활용해 general representation을 배우고 downstream task의 성능을 올리는 방법을 제안한다.

Baseline

• Unlabeled data를 활용하는 기존 방법 1) (task-specific way) unlabeled data에 대한 다른 모델(teacher-student)의 예측값을 활용하는 방법 (Self-training with Noisy Student improves ImageNet classification) 2) (data augmentation) labeled data와의 유사도를 기준으로 pseudo labeling하여 사용하는 방법 (Unsupervised Data Augmentation for Consistency Training)

Data details

• ImageNet ILSVRC-2012: 1% 혹은 10%를 샘플링해서 labeled data로, 그 외에 나머지를 unlabeled data로 취급
  • pretraining step: unlabeled data
  • fine-tuning step: labeled data
  • distillation step: labeled data (student loss) + unlabeled data (distill loss)

Approach

• 학습 전략: 3 Steps 1) unsupervised or self-supervised pretraining

  • general visual representation을 배우는 task-agnostic 학습
  • SimCLR과 같은 augmentation을 이용한 positive sample 생성 -> contrastive leargning 2) supervised fine-tuning
  • 더 컴팩트하고 (태스크에 대해) 성능 좋은 Teacher 모델을 위한 task-specific 학습 3) distillation using unlabeled data
  • Teacher-Student distillation, 다른 구조의 student, 혹은 같은 구조의 작은 student(self-distillation) 모두 가능

• SimCLR의 기본적인 가정과 확장 실험

  • SimCLR에서 확인했던 것에 이어, unlabeled data를 활용하기 위해선 network size가 중요하다.

    • 그래서 기존 ResNet-50(4x)에서 ResNet-152(3x + Selective Kernel)로 키워봤다.

  • semi-supervised 학습을 위해선 conv layer 후에 오는 nonlinear transformation (i.e. projection head)가 중요하다.

    • 그래서 1층까지 사용하던 projection head를 최대 3층까지 쌓아봤다. -> label data의 비율이 적을수록 projection head는 많은 게 좋더라 ![image](https://user-images.githubusercontent.com/18084680/180121754-7a3dcece-89d9-49a9-8645-dd4cfe428ec2.png
    • pretraining 후에 projection head를 버리지 않고, 중간 layer를 fine-tuning에 활용해봤다. -> label data의 비율이 적을 때, projection head 진입 전/후보다 중간이 더 좋더라

  • larger batch size가 더 효과적이다.

    • 그래서 MoCo의 memory mechanism을 이용해 buffered negative examples를 contrastive learning에 활용해봤다.

Evaluation

• (1+2) 2 step 학습의 유의미함 평가:

  • unsupervised -> supervised을 거친 경우, 모델의 params 수 증가에 따라 꾸준히 퍼포먼스가 향상됐으나, supervised만 사용한 경우, 일정 수준 이상으로 증가하지 않았음

• (3) distillation 시 unlabeled data의 유의미함 평가:

  • 3번째 행이나 4번째 행에서 볼 수 있듯이, (어떤 식으로든) unlabeled data를 distillation 학습에 추가할 경우 퍼포먼스가 향상한다.
  • 이 증가폭은 Label fraction이 적을수록 더 커진다. (unlabeled data 대신 의존해야 하는 labeled data가 적으니까)
  • label fraction이 10%인 경우, full labeled data로 학습한 model과 비등한 성능을 보임 (params 수가 크지 않더라도)
  • self-distilled는 computational cost가 분명 적은 것이 장점일텐데, params 수가 많아져야 의미 있어지므로 NG
    

• 기존 semi-supervised model과의 비교:

  • task-specific way (data augmentation류 포함) 계열과 task-agnostic way (SimCLR)보다 개선된 성능

Limitations

• 제안된 구조의 약점
• 저자가 숨기고 싶어하는 부분 혹은 논리적 허점

[bigshanedogg]

2006.10029.pdf