MFA training of Korean (or other language) with appropriate cleaners

[keonlee9420]

안녕하세요, 우선 좋은 자료 공유에 감사드립니다.

FastSpeech2를 이용한 한국어 학습을 위해 MFA를 추가로 training 시켜줘야 하는데요, 제공해주신 코드와 issue들을 통해 AIHub에서 제공하는 멀티모달 영상 데이터셋을 활용한 한국어 학습에 성공할 수 있었습니다. 하지만 현재 이 repo와 기존 한국어 TTS 자료들(repo1, repo2, etc)에는 MFA를 직접 학습하는 과정과 새로운 데이터에 적합한 text cleaner를 구축하는 과정이 자세히 기술되어 있지 않아 혼란스러운 부분이 존재합니다. 이에 제가 AIHub 데이터를 이용한 모델 학습을 진행 하며 겪은 전처리 과정을 바탕으로 (fastspeech2에서의) 한국어 학습 flow를 다시한번 정리하게 되어 공유합니다.

https://github.com/keonlee9420/Emotional-FastSpeech2

저처럼 한국어를 활용한 non-autoregressive tts모델을 구축하고자 하시는 많은 분들께 조금이나마 도움이 되기를 바라며, HGU-DLLAB님을 포함한 많은 분들의 훌륭한 피드백은 언제나 환영이니 주저 말고 연락 바랍니다. 감사합니다.

[Jackson-Kang]

@keonlee9420 님께,

안녕하세요, @keonlee9420 님.

흥미로운 오픈소스 공유 감사드립니다. 많은 분들과, 저에게도 좋은 참고 자료가 될 것 같습니다.

시간이 될 때 한번 run 해보고 질문이 생기면 issue 남기도록 하겠습니다.

감사합니다.