Self-training with Noisy Student improves ImageNet classification

Abstract

링크 현 시점(2020-02-03) image classification 분야에서의 SOTA
base network > efficientnet
trainingset변경과 이를 이용한 training 방법에서 SOTA 달성
training set
- imagenet
- 3.5B weakly labeled Instagram images
training
- teacher-student 학습방법
- student > adding self-training

방법 간단요약

1. Teacher model을 labeled data로 학습
2. Teacher model로 unlabeled data의 label를 예측 > pseudo labels
3. Student model로 labeled data와 unlabeled data를 학습
     * pseudo labels > hard or soft
4. 학습이 끝난 student model은 teacher model이 되고, 새로운 student model으로 2, 3 을 반복

Introduction

self-training framework 1) train a teacher model on labeled images, > 보통 우리가 하는 supervised 학습 2) use the teacher to generate pseudo labels on unlabeled images > 1번의 학습 모델로 unlabeled image에 대해 예측한 값을 라벨로 이용 > pseudo label 3) train a student model on the combination of labeled images and pseudo labeled images. > label 데이터셋과 pseudo label 데이터셋을 동시에 적용하여 학습
student 학습과정에서, noise를 주기위해 다음과 같은 방법 적용
- RandAugment data augmentation
- dropout >> ?overfitting
- stochastic depth >> ?overfitting
이들 방법을 적용해서 SOTA

Self-training with Noisy Student

위에 언급한거와 거의 동일
Student 학습에서 noisy를 주는 방법에서,
- 앞에서 언급한, unlabeled image들에 대해 teacher 모델의 predict한 결과를 (pseudo 라벨화된) 학습셋으로 추가.
- 이때, pseudo라벨형태는 softmax결과이니 "continuous distribution" (soft label)일테고, 그중 max만 선택하면, onehot 형태임(hard label) > 다만, 여기까지 내용에서 두가지중 어떤걸 선택했는지는 안나와있음.
- cross entropy loss 적용
Student 학습에서 사용된 데이터는 labelled data & pseudo labelled data 모두 적용하는 형태
teacher 모델학습 > teacher 모델의 predict한 결과 > Student 학습인데 이 과정을 반복하는 형태
다음은 이를 수식으로 표현
다음은 이를 그림으로 표현
이 방법은 "semi-supervised learning"범위내인 기본적으로 "self-training" 방법임.
- 이 연구의 차이점은 Student 학습에 노이즈를 추가하여 학습하되, 이를 다시 teacher 모델학습하고 이를 이용하여 재 pseudo labelled data얻어 학습하고 이러한 과정을 반복(그림.1참조)

Noising Student

2 종류의 noise 주입
- input noise : data augmentation with RandAugment
위의 PPT 참조 Data Augmentation은 이미지의 label을 바꾸지 않으면서 픽셀을 변경하여 이를 학습에 이용하는 기법 Rand Augmentation은 Data Augmentation을 자동화 하여 사용하기 편하게 하는 기법 Student model은 Augmentation 된 데이터가 원본과 같은 class라고 확실하게 분류 해야함. 이는 Student 모델이 Teacher model을 뛰어넘어 더욱 어려운 이미지를 분류하도록 만듦
```
* model noise : dropout & stochastic depth
```
위의 PPT 참조 Model Noise – Drop Out and Stochastic Depth Drop Out과 Stochastic Depth는 모델의 Overfitting을 방지하기 위해 만들어진 기법 Teacher model이 Pseudo label을 생성할 때 ensemble 모델처럼 작동하게 만듦 하지만 Student model은 Single Model으로 구성되어 있음 이는 Student model이 Single Model 인데도 더욱 강력한 성능의 Ensemble Model처럼 흉내 내도록 만듦
```
### Other Techniques
```
data filtering & balancing관점에서..
- teacher model에서 예측한 결과에서 prob낮으면 제거
- 학습셋 balancing에서, 한 클래스가 너무 적으면 duplicate images. 반면에, 너무 많으면 confidence가 높은것만..
pseudo labels에서의 soft or hard 라벨을 사용할경우, > 실험상 soft라벨을 이용할경우 쪼금높아라라고 언급.

Experiments

데이터셋

Labeled dataset - ImageNet
Unlabeled dataset
- JFT dataset > 300M images > 실제로는 라벨링된 데이터지만, 언라베링 데이터라고 취급하여 적용.
  - ImageNet으로 학습된 EfficientNet-B0 모델을 이용하여 predict > 0.3보다 높을때 선택
결과
이외 다양한 실험관련 설명이 있는데..

chullhwan-song / Reading-Paper

Self-training with Noisy Student improves ImageNet classification #246

Abstract

방법 간단요약

Introduction

Self-training with Noisy Student

Noising Student

Experiments

데이터셋