issues
search
davidkim205
/
translation
11
stars
3
forks
source link
komt-1810k-test 데이터 모델별 번역 및 bleu score 평가
#9
Closed
sudog1
closed
7 months ago
sudog1
commented
7 months ago
7 에서 모델별 번역 데이터를 results/에 추가
추가 변경사항
"다음 xx 특허명세서를 xx로 번역하세요" 라는 지시어가 있어서, translation2.py에서 "다음 문장을 xx로 번역하세요" => "xx로 번역하세요" 로 바꾸었습니다
kiwi 토크나이저가 영문자의 경우 토큰화를 이상하게 하는 문제가 있어서, 영어 번역을 평가할 땐 기존 nltk의 word_tokenizer를 사용했습니다
7 에서 모델별 번역 데이터를 results/에 추가
추가 변경사항