Focal Cosine Loss

[Dongbin-Lee-git]

https://www.kaggle.com/c/cassava-leaf-disease-classification/discussion/203271

• [x] ASTER에 적용 : 감소
• [x] SARTN에 적용 : 감소

Latex label의 class imbalance -> Focal loss Softmax의 문제점을 보완 -> Cosine embedding loss

• Focal loss가 좋지 않은 실험 결과를 내보이고 있었다.
  • 많이나오는 token들이 {, }와 같은 항상 많이 쓰이는 class이기에 focal loss가 오히려 효과가 않좋게 나온 듯 하다.
• Cosine embedding loss는 CLS, EOS, PAD token과 같은 special token들에 의해서 유사도가 높게 판단되어지는 상황이다

---

• [ ] Cosine embedding loss with ignore special tokens