search

boostcampaitech3 / level2-klue-level2-nlp-11

level2-klue-level2-nlp-11 created by GitHub Classroom
0 stars 5 forks source link

라벨 스무딩 실험 #32

Closed duckray closed 2 years ago

duckray commented 2 years ago

실험 내용

loss 함수를 건드려보고 싶어, 공식문서를 찾아보니 trainer에 이미 label smoothing이 구현되어 있는 것을 확인했습니다. label smoothing 값이 몇일때 이상적인지 실험을 통해 찾아보도록하겠습니다.

duckray commented 2 years ago

image 라벨 스무딩 값이 높아질수록 loss가 증가하지만, 이와 별개로 f1스코어에서는 성능향상을 보입니다. image image 제출 결과를 보면, 라벨 스무딩 0.2인 값이 0인 값보다 f1이 미세하게 좋게 나왔습니다.

duckray commented 2 years ago

image 스무딩 값을 0.3으로 높이니, 성능이 하락되는 것을 확인했습니다.

duckray commented 2 years ago

image 라벨 스무딩값을 0.15로 주었을 때, 0.2보다 loss는 작으면서 f1 score는 비슷하게 나오는 것을 확인했습니다. image 제출 결과를 확인하니 라벨스무딩 값이 0일때와 비교하면 f1스코어가 0.6이나 차이납니다.

결론

라벨스무딩 값 0.15로 두면, 성능향상이 있는 것을 확인했습니다.