ささやき系で空白部分でノイズが入る＋発音がおかしい

webgoto commented 6 months ago

不具合の内容

ささやき系で 1.空白部分でノイズが入る（九州そらが顕著） 2.発音がおかしい

現象・ログ

九州そら（ささやき）で「こんにちわ、これを聞く」を作成した場合下記のようになりました。

https://github.com/VOICEVOX/voicevox_core/assets/4490262/950ceff3-b074-4b9f-ac54-52853f252930

問題点 1.「こんにちわ」の後に「ブーン」というノイズが入る 2.「これをきく」が「これをくく」と発音される（調整画面上は正しくコレオキクと表示されている）

再現手順

VoicevoxのGUIで「こんにちわ、これを聞く」を入力する

他にも「期待する（くたいする）」「ひとりで遊ぶ（ふとりであそぶ）」のようにおかしい発話がある

期待動作

1.「こんにちわ」の後に「ブーン」というノイズが無くなる 2.「これをきく」と発音される

対応策

1.queryのpause_moraの時間を短くするとノイズは緩和されました（GUIで「長さ」を変えるのでも良い）

pause_mora: {
  "text": "、",
  "consonant": null,
  "consonant_length": null,
  "vowel": "pau",
  "vowel_length": 2.4906704425811768, //これを1以下にする
  "pitch": 0
}

2.queryのkanaを見ると発音がおかしい場合、前に「_」がついていました。そしてmoraを見るとvowelが大文字のIになっていました。これを小文字にすると正しい発音になりました。

kana: "コンニチワ'、コレオ'/_キク'"

{
  "text": "キ",
  "consonant": "k",
  "consonant_length": 0.08415838330984116,
  "vowel": "I", //これをiにすると直る
  "vowel_length": 0.0838986411690712,
  "pitch": 0
}

修正したクエリーで作成したのがコチラになります。

https://github.com/VOICEVOX/voicevox_core/assets/4490262/6df80496-a801-49b3-bdce-7c0dd2b01960

このようにAPIから操作すれば対応可能ですが、GUIからは難しそうなので、修正や別の対応策があればと思います。

VOICEVOXのバージョン

0.19.1

OSの種類/ディストリ/バージョン

[x] Windows
[ ] macOS
[ ] Linux

Windows 10 Home 64bit 22H2(19045.4291)

その他

特になし

Patchethium commented 6 months ago

ノイズは主に録音デバイスの問題です。囁き声を録音する場合、通常の会話よりも音量が低いため、正規化が必要です。その結果、通常は聞こえない環境ノイズや呼吸音も増幅され、聞こえるようになります。ただし、これはデータの性質上の問題であり、こちらでは改善できません。

このようにAPIから操作すれば対応可能ですが、GUIからは難しそうなので、修正や別の対応策があればと思います。

対応策の１は長さパネルでスライダーを動かす、２は無声化（イントネーションパネルでカナをクリック）することでできます。

webgoto commented 6 months ago

明快なご回答ありがとうございます。解決しました。

Hiroshiba commented 6 months ago

@webgoto ご報告ありがとうございます！！

ノイズが入りやすい件と発音がおかしくなる件、とりあえず把握しました。特に後者の方は問題に気づいていなかったので助かりました。

@Patchethium コメントありがとうございます！

ノイズは主に録音デバイスの問題です

こちらはmustやshouldではなく、mayだと思います。（後からコメントを読んだ人が何か勘違いされないように補足です 👍 ）

webgoto commented 6 months ago

ありがとうございます😃

VOICEVOX / voicevox_core