중간발표 준비

[lifefeel]

10월 20일 목요일 저녁에 제가 궁금한 것들을 짚고 넘어가기 위해 잠시 소회의를 했던 내용입니다.

데이터 전처리

학습에 필요한 형태로 가공하기 위해 원본 레이블 데이터로부터 target label을 뽑는 작업을 수행

전처리 과정에서 발견한 문제점

• 발음전사를 결과를 사용했음에도 불구하고 알파벳으로 전사가 되어있는 샘플이 있었음

테스트 데이터

• 대상 :
  • eval_clean 데이터셋(3000개)
  • eval_other 데이터셋(3000개)
• 수량 : 총 6000개

dev 데이터셋(2545개) ⇒ machine-in-the-loop 결과를 이용, dev도 train의 일부라고 볼 수 있음

세부 전략

human-in-the-loop

• test 데이터의 품질을 높이기 위해 성능이 좋은 SOTA급 모델을 이용하여 테스트 데이터를 음성인식 해보고 ground truth와 비교(Whisper, Google 인식기 이용)
  • 쓰려고 했으나, Whisper나 Google은 한글전사결과를 쓸 수 없었고, 우리는 phonetic 결과를 이용하기 때문에 비교 불가능(결과가 어떻게 다르게 나오는지 예시 보여주기)
  • 그래서, 우리의 baseline 모델을 이용해서 groud truth와 비교해보기로 함.
• 음성인식 결과와 정답이 다른 텍스트의 파일만 뽑아서 1차적으로 검수
  • Confidence 확인(상/중/하)
  • CER이 평균보다 낮은 것들은 어떤 것인지
  • 다른 것의 비율이 어느정도 인지 확인
  • 어떤 양상으로 다른 것이 나오는지 확인
  • 발음 전사 텍스트 사용 중에 발견된 다른 사항들 확인(숫자, 알파벳 등)
• 위의 과정을 거친 후 나머지 데이터도 전체적으로 검수

학습 데이터

machine-in-the-loop 기법을 적용해보기 위해 다음과 같은 단계로 실험

• test에서와 마찬가지로 train 데이터의 품질을 높이기 위해 성능이 좋은 SOTA급 모델을 이용하여 데이터를 음성인식 해보고 ground truth와 비교(Whisper, Google 인식기 이용)
• baseline을 학습했던 모델을 이용하여 학습데이터를 전량 음성인식을 돌려 텍스트가 다른 것을 추림
  • 음절을 기준으로 음절의 수 다른 갯수가 많은 것들을 들어봄
    • 모델의 결과가 더 신뢰 가능할 경우, 모델이 전사한 결과를 ground truth로 채택(semi-supervised?)
    • 모델의 결과가 별로인 경우 ⇒ 전략 실패
  • confidence score가 낮은 것만 추려서 보기
    • confidence가 낮으면서 음절이 틀린 것이 많을 경우 model도 이 데이터에 대해서는 신뢰도가 낮은 것이므로 제외하고 학습