supikiti / Awesome-tts-and-vc

Here is a summary of the conference papers we read.

7 stars 0 forks source link

TRANSFORMER-BASED TEXT-TO-SPEECH WITH WEIGHTED FORCED ATTENTION #1

Open supikiti opened 3 years ago

supikiti commented 3 years ago

リンク

https://ieeexplore.ieee.org/document/9053915

どんなもの？

音素継続長によるハードアラインメントを導入したTransformer-TTSを提案 & 有効性を検証
音素継続長予測器を内部に持たないFastSpeechの有効性を検証

先行研究と比べてどこがすごい？

Transformer-TTSにおいてハードアラインメントとソフトアラインメントを重み(w)付き和で実現し合成音声の品質がいずれか一方のものより向上した

技術と手法のキモはどこ？

上に同じ

どうやって有効だと検証した？

JSUTのフルコンテキストラベルを使用し検証
wを{0.2, 0.5, 0.7, 1.0}と変化させ，tacotron2, (Attentionのみ)transformer-TTSと比較
- w=0.5のMOS => 4.26
- tacotron2のMOS = 4.00, transformer-TTSのMOS = 3.93
FastSpeechモデルにおいて，音素継続長ある・なしで比較
- (音素継続長あり)FastSpeechのMOS = 3.37
- (なし) = 3.72

議論はある？

どうしてもハードアラインメントはdecoderの入力としては冗長すぎる
w > 0.5だと冗長性のため合成音声の品質が劣化
FastSpeechでは従来モデルであるHMMからアラインメントされたものを与えたが，十分に機能した

次に読むべき論文

supikiti commented 3 years ago

音響学会2020秋 https://speakerdeck.com/takuma_okamoto/asj2020a-hurukontekisutoraberuru-li-woyong-itafastspeechxing-niyuraruttsmoderufalsebi-jiao

supikiti commented 3 years ago

先行論文 https://www.okamotocamera.com/asru_2019.pdf