HGU-DLLAB / Korean-FastSpeech2-Pytorch

Implementation of Korean FastSpeech2
MIT License
214 stars 50 forks source link

about korean dictionary #4

Closed KinamSalad closed 3 years ago

KinamSalad commented 3 years ago

안녕하세요. fastspeech2로 한국어 tts구현을 시도해보고 있는 학생입니다. 좋은 코드 감사드립니다:)

mfa training에 있어 dictionary에 대해 궁금한 점이 있어 질문 드립니다.

1) dictionary에 존재하는 단어 조합 이 training corpus에 있는 단어조합 갯수를 커버하지 못하면 트레이닝 하는데 문제가 없나요? emotiontts에 있는 단어들은 kss에 비해 적은거 같은데, 실제로 alignment할때 같은 토큰이 많아지는 것 같아 질문 드립니다.

2) dictionary를 구성할때 왜 kss데이터셋으로 구성하지 않나요? dictionary를 구성할때 align할때 쓰이는 corpus와 같은 corpus로 구성하게 되면 어떤 문제가 생기는 건가요?

3) mfa training할 때, training corpus는 어떤 포맷이었나요? 그냥 한글로 된 문장을 사용하셨나요? 아니면 자모분리를 해놓은 문장을 사용하셨나요?

감사합니다.

Jackson-Kang commented 3 years ago

@KinamSalad 님께,

안녕하세요, @KinamSalad 님. 답변이 늦어 죄송합니다.

질문주신 내용에 답변 드리겠습니다.

Q-1) dictionary에 존재하는 단어 조합 이 training corpus에 있는 단어조합 갯수를 커버하지 못하면 트레이닝 하는데 문제가 없나요?

A-1) 문제가 생깁니다. dictionary에 존재하지 않는 word-phoneme rule이 다른 dataset에서는 필요할 수 있습니다. 결과적으로 동작하지 않게 될 것입니다.

Q-2-1) dictionary를 구성할때 왜 kss데이터셋으로 구성하지 않나요?

A-2-1) dictionary는 kss dataset으로 만들었습니다.

Q-2-2) dictionary를 구성할때 align할때 쓰이는 corpus와 같은 corpus로 구성하게 되면 어떤 문제가 생기는 건가요?

A-2-2) 제가 질문의 point를 이해하지 못했습니다. 괜찮으시다면, 좀 더 자세히 설명해주실 수 있으실까요?

Q-3) mfa training할 때, training corpus는 어떤 포맷이었나요? 그냥 한글로 된 문장을 사용하셨나요? 아니면 자모분리를 해놓은 문장을 사용하셨나요?

A-3) 아래 issue를 참고해보시고, 충분히 답변이 되지 않았다면 다시 질문해주세요. 답변드리겠습니다. https://github.com/HGU-DLLAB/Korean-FastSpeech2-Pytorch/issues/3#issuecomment-781848080

감사합니다.

KinamSalad commented 3 years ago

답변감사드립니다! Q-1이 가장 궁금한 질문이었는데 답변이 된 것 같습니다. Q2-2는 자잘한 질문이었는데 전달이 잘 되지 않았던 것 같습니다(해결되었습니다) 감사합니다