Efficient Test-Time Model Adaptation without Forgetting

[runhani]

https://arxiv.org/abs/2204.02610 https://github.com/mr-eggplant/EATA

문제제기

• ML을 한번이라도 해보면 train과 test사이의 괴리감으로 한 번은 고민해 보았을 것이다...
• (실전 문제는 학습 data와는 다른 수많은 문제를 포함한다.)
• OOD : Out Of Distribution 이 문제는 결국에는 필수 불가결 한 것일까? (학습 시 본적 없는 sample)

ETA도 아니고 EATA?

• New Jeans이 명곡 ETA도 아니고 EATA?
• TTA : Test Time Adaptation
• EATA : Efficient Anti-forgetting Test-time Adaptation

reliable and non-redundant samples

• 결국 모든 test examples이 다 중요한 건 아니다.
• noise도 있고 train sample과 비슷해서 redundant한 것도 있다.
• 이를 제거하고 forgetting을 안하기 위해 BN의 weight만 update 한다.