ghlee3401
commented
2 years ago Arxiv
- DelightfulTTS 2: End-to-End Speech Synthesis with Adversarial Vector-Quantized Auto-Encoders
- INTERSPEECH2022 | Microsoft Azure Speech, Microsoft Research Asia | TTS
- 샘플 URL : https://cognitivespeech.github.io/delightfultts2
- Problem
- 기존의 TTS는 acoustic model과 vocoder를 나누어 학습을 하기 때문에 오류가 있음 (cascaded error)
- 중간 acoustic feature인 mel-spectrogram은 phase 정보가 손실이 되어 있음
- Goal
- mel-spectrogram같은 feature를 사용하지 않고 acoustic model과 vocoder를 jointly 학습하는 모델을 제안
- Method
- Acoustic model (based on DelightfulTTS)
- delightfultTTS를 이용하여 VQ-GAN의 encoder의 값을 예측
- vocoder (VQ-GAN의 decoder)와 결합하여 jointly하게 학습
- 특이한 점은 VQ-GAN의 encoder로부터 얻어지는 speech representation과의 loss를 이미지에서 사용되는 structural similarity(SSIM)를 사용했다는 점
- Codec network (based on VQ-GAN)
- mel-spectrogram, 다른 신호처리 기반의 feature를 사용하지 않고 frame-level의 speech representation 학습
- VQ-GAN의 encoder를 이용하여 speech representation을 추출
- VQ-GAN의 decoder를 이용하여 waveform으로 합성
- decoder의 architecture는 HiFi-GAN을 기반으로 만들어졌음
- Results
- FastSpeech2와 DelightfulTTS와 비교하여 MOS 평가 시 더 좋은 성능을 보이는 것을 보여줌
- CMOS를 통하여 비교를 했을 때도 제안하는 모델이 더 좋은 평가를 보여줌
- Conclusion
- two-stage TTS 모델에서 겪는 cascaded error 없이 text/audio data pair로 AM과 Vocoder를 같이 학습
- 이전 모델인 DelightfulTTS와 비교하여 비슷한 파라미터와 합성 속도를 가지면서도 성능이 더 좋은 모델을 만듦
- mel-spectrogram과 같은 중간 feature없이 사용한다면 training data에 따라 bias가 더 심해지지 않을까 예상
- Problem
- PoeticTTS - Controllable Poetry Reading for Literary Studies
- INTERSPEECH 2022 | University of Stuttgart (Germany) | TTS (독일어)
- 샘플 URL : https://poetictts.github.io/
- 코드 URL : https://github.com/DigitalPhonetics/IMS-Toucan
- Hugging Face Demo URL : https://huggingface.co/spaces/Flux9665/PoeticTTS
- Problem
- poetry를 위한 speech synthesis는 intonation 패턴(poetic intonation)이 일반 speech와 달라 어려움
- short intonation units, more pauses, intonation units of relatively equal length, and repetition of pitch patterns
- 적절한 표현에 맞는 운율의 speech를 만들어야하고, prosody를 미세 조절할 수 있어야 함
- Goal
- controllable lyric poetry synthesis
- Method
- Architecture FastSpeech2 & HiFi-GAN, encoder decoder에는 IMS Toucan Toolkit의 Conformer block 사용
- Controllable : 조절 가능하도록 하기 위하여 FastPitch 스타일로 phone마다 F0와 energy를 평균을 내어 사용
- Speaker Embedding : unseen에 대응하기 위해 Voxceleb 1, 2로 Speechbrain toolkit 학습, embedding 사용
- Pre-training : 다양한 언어의 diverse speech를 이용하여 학습 후 독일어 데이터로 fine-tune
- Results
- Prose Model은 영어와 독일 데이터를 모두 학습한 모델
- Poetry Model은 Prose Model을 poetic data로 finetuning한 모델
- Prose text는 산문, Poetry text는 운문
- Conclusion
- TTS 방법을 이용하여 reference recording으로부터 prosodic parameter를 복사하여 사람처럼 자연스럽게 시를 읽을 수 있게 할 수 있고 prosody를 조절할 수 있게 하였음
- Task는 신선하였으나 방법론이 그리 새롭지 않아서 아쉬움
- Problem
- 흥미있는 논문
- Text-driven Emotional Style Control and Cross-speaker Style Transfer in Neural TTS
- INTERSPEECH 2022 | Neosapience | TTS
- 샘플 URL : https://style-tts.github.io/demo/ (샘플 GOOD)
- 화자 간의 스타일을 전이(transfer)하는 TTS 모델을 제안하였고 Meta-StyleSpeech에서 착안한 style encoder, Korean Sentence BERT (SBERT) 모델을 이용한 스타일 embedding 등을 사용하였으며, natural, happy, angry, sadness 감정을 사용
- Cross-speaker Emotion Transfer Based On Prosody Compensation for End-to-End Speech Synthesis
- Arxiv | Northwestern Polytechnical University, Jiaotong University, Mobvoi AI Lab (중국) | Emotional TTS
- 샘플 URL : https://silyfox.github.io/cspc/
- reference mel-spectrogram에서 speaker 정보와 emotion 정보를 각각 speaker classifier와 emotion classifier로 추출하되, speaker encoder에 emotion classifer에 대한 gradient inversion loss를 취하여 speaker encoder output에 speaker 정보만 담기도록 함
- 특히 emotion embedding과 speaker emedding이 서로 orthgonal하도록 loss를 취해줌
- ASR에서 중간 feature를 가져와 prosody 예측을 하는데 사용을 하고 decoder에 speeker ID를 따로 넣어줌
- WeSinger 2: Fully Parallel Singing Voice Synthesis via Multi-Singer Conditional Adversarial Training
- INTERSPEECH 2022 | Tencent | SVS
- 샘플 URL : https://zzw922cn.github.io/wesinger2/
- 이전 연구인 WeSinger를 기반으로 다양한 dilation rate를 가지는 convolution으로 구성하는 multi-receptive fields 기반의 postnet, 다양한 사이즈의 사각 영역을 학습하는 multi-random area discriminators (MARADs) 사용
- 보코더는 HiFiGAN을 사용하되 linearly-interpolated F0를 quantize하여 사용하고 multi-scale discriminator (MSD), multi-period discriminator (MPD), multi-length discriminator(MLD)를 사용
- 이전 연구들에서 사용하던 것들을 대부분 차용해서 버무린 짬뽕(?) 같은 논문. 성능이 좋아졌겠지만 그다지 안 끌리는..
- Text-driven Emotional Style Control and Cross-speaker Style Transfer in Neural TTS
veritas9872
kimyoungdo0122
News
ArXiv
Language Modelling with Pixels
흥미있는 논문