Towards End-to-End Prosody Transfer for Expressive Speech Synthesis with Tacotron

[TanUkkii007]

link:

• https://arxiv.org/abs/1803.09047
• https://openreview.net/forum?id=ByZiJi-uWH

referenced from:

• Style Tokens: Unsupervised Style Modeling, Control and Transfer in End-to-End Speech Synthesis #63

[TanUkkii007]

• Tacotron 2ではなく、Tacotronの複数話者対応と韻律転移

• 3.1. Multi-speaker Tacotron

  • 話者埋め込み層にはGlorot初期化を用いる
  • トランスクリプト埋込み層の次元をd_T、話者埋め込み層の次元をd_Sとすると、エンコーダーのメモリの次元は(L_T, d_T + d_S)となる。話者の埋め込み層は(1, d_S)次元から(L_T, d_S)次元にブロードキャストされる

• 3.2. Reference Encoder

  • L_Rの長さをもつd_R次元のリファレンスシグナルから、d_P次元の韻律埋め込み値を計算する
  • 韻律埋め込みの次元をd_Pとすると、エンコーダーのメモリの次元は(L_T, d_T + d_S + d_P)となる。話者と韻律の値は時間によらず一定で、L_T次元にブロードキャストされる
  • 訓練時はリファレンスシグナルとは単にターゲットとなるスペクトログラム
  • 推論時はリファレンスシグナルは任意のスペクトログラム（話者もテキストも任意）

• 3.3. Reference signal feature representation

  • メルスペクトログラム (the mel-warped spectrum (Stevens et al., 1937))を使った
  • pitch track + intensityでもうまくいく
  • pitch trackはenergy informationがないのでprominence (ストレス、アクセント)をモデル化できない
  • MFCCはある程度ピッチ不変なので、イントネーションをモデル化できない

• 3.4. Variable-Length Prosody Embeddings

  • GRUの最後のユニットの出力しか使っていない
  • 長文に対応するためにはGRUの各タイムステップの出力をアテンションとともに使う必要あり
  • 試して長文に対してうまく動作したが、入力テキストや話者に対しあまりrobustじゃなくなった

• 4.0 Experiments and Results https://google.github.io/tacotron/publications/end_to_end_prosody_transfer/

[TanUkkii007]

ToDo: 調べる

• harmonic structure
• onset structure
  • https://en.wikipedia.org/wiki/Syllable#Onset
• pitch track
  • ピッチは心理量、基本周波数は物理量

[TanUkkii007]

Future work

• pitch relative prosody encoding to preserve speaker identity, not pitch absolute manner
• リファレンスシグナルからテキスト情報を排除して、完全に異なるテキストに対しても韻律転移をできるようにする

[TanUkkii007]

Done.