lifefeel
commented
2 years ago ASR + LM 모델을 활용하여 검출한 결과를 수정하면서 아래와 같은 기준을 잡았습니다. 조금 더 정리가 필요하지만, 제 나름대로 카테고리화를 해봤습니다.
발음에 기반해서 표기하더라도 헷갈리는 것
마지막 음절이 된소리로 발음 되는 것은 표준 표기법으로 채택
- 아닐껄 ⇒ 아닐걸
- 없을껄 ⇒ 없을걸
- 일딴 ⇒ 일단
- 이상하케 ⇒ 이상하게
- 어떠케 ⇒ 어떻게
첫 음절에서 된소리로 발음되는 것은 개인성으로 판단하여 인정
- 가만히, 카만히
- 다른, 따른(E00816)
- 조금, 쪼끔(E00848)
- 좀, 쫌(E01008)
- 따듯하다, 따뜻하다(E01396) ⇒ 둘다 맞는 표기임
발음의 개인성이 나타나는 부분은 원음대로 전사
- 해봤고요, 해봤구요
- 같아, 같애
- 가도 돼, 가두 돼
- 긍까, 그니까
- 모, 뭐
- 금, 그럼
- 거, 것
사투리도 개인성으로 판단하여 원음으로 전사
- 같지, 같제
빠르게 발음되는 부분은 표기법을 채택
- 노랠 ⇒ 노래를(E00768)
- 놀이기군 ⇒ 놀이기구는(E00816)
빠르게 발음되더라도 둘다 인정하는 경우
- 나, 난(E00768)
- 에서는, 에선(E00816)
문맥없이는 들리지 않는 유형
- eval_clean
- E00166
- E00175
띄어쓰기 오류
띄어쓰기가 붙은 경우
대체로 PPL이 높게 나타남. 구어적 표현이 많다보니 띄어쓰기 없이 붙이는 경우가 많음(띄어쓰기 오류)
예:
- 저희과를 ⇒ 저희 과를
- 안좋게 ⇒ 안 좋게
띄어쓰기가 떨어진 경우
- 그 다음에 ⇒ 그다음에
단순 오류
문법적으로 잘못 레이블링한 경우
- 아니였는데 ⇒ 아니었는데(E01277)
사람의 귀로 거의 분간이 안되는 발음
- 음 vs. 응 ⇒ 경험적으로 음성인식기의 결과가 좀 더 실제 발음과 가까움(E00721)
- 길이가 너무 짧은 무성음 ⇒ 음성인식기도 인지하지 못함(E00507)
- 받침이 없는 단음절 발화(예: 너 걔랑은) ⇒ 음성인식기의 결과가 좀 더 좋았음(E00548)
- (이)제 거기서 (이)제 좀 ⇒ 음성인식기의 결과가 좀 더 좋았음(E00558)
- (근)데 ⇒ 음성인식기의 결과가 좀 더 좋았음(E00742)
- (이)게 ⇒ 음성인식기의 결과가 좀 더 좋았음(E00817)
- 응 그러 응 vs. 응 그런 응 ⇒ 음성인식기의 결과가 좀 더 좋았음(E00918)
- 중요하다고 생각 vs. 중요하다 생각 ⇒ 음성인식기의 결과가 좀 더 좋았음(E01058)
기타
- 웃음소리는 태깅하지 않음
발음기반 레이블을 했을 때 아쉬운 점
- 역사를 좀 공부하게 되었고요 또 기타 또 이제 아무래도 ⇒ 기타 도 이제
- 위와 같이 수정됨. 사람이 이해할 때에는 “기타 또 이제”처럼 보정된 결과로 이해하지만, 실제로는 “도”로 들림.
재후님이 올린 내용 - 전처리규칙