[CD-192] SFEN 적용

[YunHaaaa]

Feature Description

https://velog.io/@yun_haaaa/Capstone-10-Encoding-Speaker-Specific-Latent-Speech-Feature-for-Speech-Synthesis Mel spectogram을 VAE에 넣는 방식으로 변경 Encoder를 Convolution layer를 사용해 VAE를 학습되도록 변경 Decoder를 Hifi GAN을 사용

Tasks to Complete

• [x] Target speaker의 오디오에서 생성된 mel spectogram을 인코더에 입력하고 출력으로 분포 매개변수인 µ와 σ를 얻는다. 이 출력은 mel spectogram과 동일한 타임 스텝을 갖도록 변경

  • [x] wav를 멜 스펙트로그램으로 바꾸기
  • [x] mel spectogram을 인코더에 입력 (데이터로더 수정)
    

• [x] Input mel spectogram으로부터 인코딩

  • [x] encoder를 mel spectogram에 맞게 convolution으로 변경
    

• [x] 디코더로는 원시 파형을 재구성하는 데 우수한 성능을 보인 HiFi-GAN을 사용

  • https://github.com/jik876/hifi-gan/blob/master/models.py#L219
  • [x] decoder 변경
  • [x] gan 추가
  • [x] train 코드 변경
    

• [x] 손실함수를 위와 같이 설정
  • [x] Discriminator
  • [x] SFEN
    • [x] Generator
    • [x] VAE
      • [x] L1
      • [x] KL
        

Additional Resources (Optional)