self-distillation

[jihyeeon]

개요

KorQuAD 2.0에서 Kakaobrain이 적용한 방법들 중에 하나로, 모델을 학습시킨 후 최초 학습 된 모델이 이후의 모델을 가르치는 기법이다. 해당 기법을 사용하게 된 동기는 teacher 모델의 출력을 활용하였을 때 모델의 불확실성을 줄이고 일반화 성능을 향상할 수 있다고 생각했기 때문이다.

목표

해당 기법을 함께 적용했을 때 EM score 의 향상

[jihyeeon]

실험 결과

대회 종료의 임박으로 결과를 제출하여 Public EM 을 확인하지 못하였다. Local EM 의 실험 결과로는 roberta-large base/ custom layer 추가/ 외부 데이터 추가 학습/ 의 대부분의 경우에서 validation data의 EM 이 상승한 것을 확인할 수 있었다.