Closed YunHaaaa closed 3 months ago
https://velog.io/@yun_haaaa/Capstone-10-Encoding-Speaker-Specific-Latent-Speech-Feature-for-Speech-Synthesis Mel spectogram을 VAE에 넣는 방식으로 변경 Encoder를 Convolution layer를 사용해 VAE를 학습되도록 변경 Decoder를 Hifi GAN을 사용
[x] Target speaker의 오디오에서 생성된 mel spectogram을 인코더에 입력하고 출력으로 분포 매개변수인 µ와 σ를 얻는다. 이 출력은 mel spectogram과 동일한 타임 스텝을 갖도록 변경
[x] Input mel spectogram으로부터 인코딩
[x] 디코더로는 원시 파형을 재구성하는 데 우수한 성능을 보인 HiFi-GAN을 사용
Feature Description
https://velog.io/@yun_haaaa/Capstone-10-Encoding-Speaker-Specific-Latent-Speech-Feature-for-Speech-Synthesis Mel spectogram을 VAE에 넣는 방식으로 변경 Encoder를 Convolution layer를 사용해 VAE를 학습되도록 변경 Decoder를 Hifi GAN을 사용
Tasks to Complete
[x] Target speaker의 오디오에서 생성된 mel spectogram을 인코더에 입력하고 출력으로 분포 매개변수인 µ와 σ를 얻는다. 이 출력은 mel spectogram과 동일한 타임 스텝을 갖도록 변경
[x] Input mel spectogram으로부터 인코딩
[x] 디코더로는 원시 파형을 재구성하는 데 우수한 성능을 보인 HiFi-GAN을 사용
Additional Resources (Optional)