[Reader] Post-processing (조사/ stopword 제거)

[gaeun0112]

• 이유 : EM score 향상을 위해 불필요하게 붙어나와 오답의 원인이 되는 stopword 제거

  • 훗카이도로 -> 훗카이도

• 목표 : score 향상

• 삼성 발표 자료 -> 제안한 3가지 방법 중 한가지

[가은]

• 이유 : 어째서인지 prediction 예측값들을 살펴보면 "\"이탈리아 요리\"", 와 같이 양쪽에 쓸데없는 특수기호들이 붙어서 나오는 값들이 보임.(600개 중에 10개 정도밖에 안되기는 함...)
• 목표 : EM 평가지표는 이러한 노이즈들에 취약하므로 후처리를 진행해줌.

[gaeun0112]

validation data의 예측 결과를 분석한 결과 생각보다 조사가 붙어있어서 예측을 틀린 결과들이 별로 없어서 일단 보류