[22.02.21] Deberta Model Fine Tuning Results

[Kingthegarden]

모델 fine-tuning 결과

1. fc-layer

• nn.Sequential & dropout(output) : .859 -> 성능향상 X
  • dropout 2번 적용하여 학습이 어려워진 것으로 예상
• nn.Sequential & output : .864 -> 성능향상 O

  2. scheduler 변경

• 기존 Cosine -> CosineAnnealingWarmRestarts 로 변경 : .861 -> 성능향상 X

  3. weight 초기화 방식 변경

• torch.nn.init.xavier_uniform_를 활용한 Weight Initialization : .866 -> 성능향상 O

해당 내용을 추가하여 pr 보내도록 하겠습니다.

[ympaik87]

오 weight 초기화 방식으로 성능 향상 이끌어내신거 놀랍네요. 기대되네요.

[HyeonhoonLee]

현재 score는 5CV 평균 기준인가요? CAWR의 장점이 generalization도 있는걸로 알고있어서요^^

[Kingthegarden]

score는 LB 기준이고 CV에서도 높은 score가 나오는 걸로 확인했어요. CosineAnnealingLR, CosineAnnealingWarmRestarts 두개 같은 CFG로 실험해봤는데 CV, LB 모두 성적이 떨어지네요... scheduler를 좀 더 튜닝해서 실험해봐야겠습니다 !

[jerife]

LB 뿐아니라 CV에서도 좋은 결과가 있었다면 너무 좋은 결과인 것 같습니다! 수고하셨습니다 :)