Continual Test-Time Domain Adaptation

[runhani]

누구나 풀고 싶은 문제에 대한 연구 분야

• 한번 학습하면 끝나는게 아니라
• 지속적으로 (continual) 학습도 되고 모델이 업데이트 되는 것
• 이건 ML하는 사람 누구나 꿈꾸는 그런 모델 아닌가?
• 잘 안되는 sample들에 대해서 자동으로 분류해서 학습하고 모델 update하고
• 그렇지만 기존 data에 대해서는 잘 되는 성능은 유지하고 OOD에 대해서는 성능 update가 되는 모델
• 이런 분야가 있다는 것을 남기기 위해서 issue 작성
• 결국 많은 분야에서 EMA teacher를 많이 사용. https://github.com/lucidrains/ema-pytorch
• EMA는 얼굴 인식 모델에서 효과를 많이 본, 결국 검증된 방법
• 그런데 imbalanced sample에 대해서 adaptation을 하면 기존 성능에는 치명적인게 아닐까?
• OOD를 detect하는 것도 기술이다.
• Batch Normalization을 업데이트 하는 것도 필요함 (mean과 var를 바꾸는 ...)
• 얼굴 인식의 loss분야의 발전 처럼 center loss → sphere loss → curriculum loss 처럼 이 분야도 지속적으로 발전하는 듯
• 그런데 classification 분야가 아닌 generation 분야에는 어떻게 적용 할 수 있을까?

그러나 아직 풀리지 않은 문제

• catasrophic forgetting
• error accumulation

검증은 어디서? (corruption 된 data에서)

CoTTA (CVPR 2022)

https://arxiv.org/abs/2203.13591 https://github.com/qinenergy/cotta

NOTE (NeurIPS 2022)

https://arxiv.org/abs/2208.05117 https://github.com/TaesikGong/NOTE

RMT (CVPR 2023)

https://arxiv.org/abs/2211.13081 https://github.com/mariodoebler/test-time-adaptation

EcoTTA (CVPR 2023)

https://arxiv.org/abs/2303.01904 https://github.com/Lily-Le/EcoTTA https://www.youtube.com/watch?v=HvqljzJ0uV4&t=2s

RoTTA (CVPR 2023)

https://arxiv.org/abs/2303.13899 https://github.com/BIT-DA/RoTTA