[원딜] (FQ) BLEU score의 단점

[changwoomon]

❓ 질문 내용

• BLEU score가 번역 문장 평가에 있어서 갖는 단점은 무엇이 있을까요?

---

📄 참고 자료

• DAY 18. Beam Search and BLEU

• Tangled up in BLEU: Reevaluating the Evaluation of Automatic Machine Translation Evaluation Metrics

[CoodingPenguin]

• 같은 의미의 다른 단어여도 다른 단어를 쓰면 틀렸다고 판단한다.
  • 비교적 점수가 낮게 나온다.
  • 단어 간의 유사성을 고려하지 않는다.
• BLEU는 잘못된 단어로 바꼈을 때의 에러에 가중치를 두지 않는다. 즉, 단어 별 가중치가 없기 때문에 중요한 단어가 대체되든, 안 중요한 단어가 대체되든 비슷한 점수가 나온다.

---

참고자료

• https://arxiv.org/pdf/2006.06264.pdf
• https://www.lengoo.com/blog/mt-for-beginners-what-is-bleu-and-what-is-wrong-with-it/