search

boostcampaitech5 / level2_klue-nlp-04

level2_klue-nlp-04 created by GitHub Classroom
1 stars 0 forks source link

[Model] focal loss 혹은 다른 로스를 써보자. #43

Closed lig96 closed 1 year ago

lig96 commented 1 year ago

현재 상황과 문제점

현재 상황에서는

  1. 기본값(아마도 celoss???) 을 씁니다.

다른 것도 쓰면 좋을 것 같습니다.

개선 제안 사항

  1. mse
  2. mae
  3. huber loss

기대점

태스크에 맞는 로스를 선택한다면 성능이 좋아진다.

dbsrlskfdk commented 1 year ago

이 태스크에서 또 많이 쓰이는게, FocalLoss, ArcFaceMarginProduct+CrossEntropy 더군요. 이것도 추가해서 적용해보시면 좋을 것 같습니다

dbsrlskfdk commented 1 year ago

FocalLoss 보다 조금 더 나아간 ASL(Asymmetric Loss)라고 제안된 것이 있더라고요. 레퍼런스는 노션에 적어두긴 했지만, 이슈를 더 자주 보실 것 같아 아래 남겨놓겠습니다. (참고. 너무 간단해서, 적당히 바꿔서 제가 실험 돌려놓고 잘 예정입니다..!, 물론 FocalLoss도 실험해보세요! Multi-Label Task에서 Data Imbalance를 잘 대처하는 유명한 Loss니까 확인해보시는게 좋을 것 같아요!)

lig96 commented 1 year ago

focalloss 돌려보겠습니다.

lig96 commented 1 year ago

참조 #68

focal loss는 valid에선 보통, 리더보드는 확인x asl은 valid에선 보통, 리더보드는 72.4->74..0으로 상승

일단 asl은 이미 #68 로 pr 올라와 있끼 때문에 이건 닫겠습니다.