[8] When Does Label Smoothing Help?

[Dongwoo-Im]

Links

• Paper : https://arxiv.org/abs/1906.02629

한 줄 요약

• 제목 그대로 label smoothing이 언제 효과적인지를 다룬 논문이다.
• 저자들은 label smoothing이 model의 over-confident를 방지하는 효과가 있다고 주장하며, teacher model에 label smoothing을 적용하면 student model로 knowledge distillation하는 효과가 감소한다고 주장한다.

선택 이유

• Label smoothing의 작동 원리에 대한 궁금증을 해결하고 싶었다.
• 평소 knowledge distillation이 label smoothing 효과도 있는게 아닌가 싶었는데, 저자들이 해당 실험을 진행한 것으로 보여서 선택했다.