[機能向上]SRTファイルを利用した音声合成

内容

SRTという字幕のためのファイル形式を利用した音声合成の機能を実装してほしいです。 SRTファイルによって音声合成するときそのSRTファイルの時間と一致するように合成・変換してほしいです。例えば、

1
00:00:00,000 --> 00:00:04,500
こんにちは、お元気ですか。

2
00:00:04,500 --> 00:00:09,120
はい、調子が良いです

3
00:00:09,120 --> 00:00:12,160

4
00:00:12,160 --> 00:00:15,840
そして、ここで大いなる発表です。

というSRTファイルがあるとしたら最初の「こんにちは、お元気ですか」が4.5秒ちょうどか収まるように速度を調節して合成して、他の部分も同様に時間内に収まるように合成して、空白の部分も考量して一つの音声ファイルになるようにしてほしいです。動画編集ソフトにその一つの音声ファイルとSRTファイルを読み込ませるとそのまま音声と字幕がずれることがなく使えるようにしてほしいです。

ゆっくりムービーメーカーなどでもsrtを読み込んで各テキストを音声合成できると思いますが、時間を考慮していないのでhttps://youtu.be/uUN9klTP50s?t=149 のようにずれてしまう。

Pros 良くなる点

SRTファイルを持っている場合、現状音声合成したあと動画編集ソフトで音声と字幕がずれないように調整する必要があるがそれが必要なくなる。
文字起こしができるAIのWhisperなどで動画から文字起こしをして、円滑にその動画の音声をVOICEVOXの音声にできるようになるなど活用の幅が広がる。

Cons 悪くなる点

UIが増える

実現方法

SRT読み込み
時間内になるように各文章を音声合成
空白の時間も含めてSRTファイルに一致するように一つの音声ファイルにして出力。

関連して何か気がついたこと、気になることがあればココに書いてください

主な新しい処理は時間を考慮して速度を調節するくらいなので、APIの速度調節のパラメータを利用して外部アプリとして実装すればよいと正直思いました。ふと思ったのですが、そのような場合に既に作られているかどうか確認できるVOICEVOXを活用したオープンソースのアプリや拡張機能一覧のようなものは公式ではないのですか？

issue作成ありがとうございます！！　関連issueとしてちょっとリンクしておきます。

https://github.com/VOICEVOX/voicevox/issues/1292

@szriru ちなみに他の音声合成ソフトの挙動とか知らないですか？　UIの参考にしたいなと。

あと実装に興味ないですか？正直なところ、実装自体は相当簡単だと思うのですが、問題は既存のVOICEVOXユーザーは台本をソフトウェア上で書くことが主な制作方法なので、実装するニーズがあまりないのでなかなか手がつけられないだろうなと感じています。 VueやTSが初めてなら聞いていただければかなりサポートできると思います。

既に作られているかどうか確認できるVOICEVOXを活用したオープンソースのアプリや拡張機能一覧のようなものは公式ではないのですか？

今のところ無いです！毎日エゴサしてますがsrtからVOICEVOX音声を作るアプローチは特に見かけてない･･･気がします。

ご返信ありがとうございます。

ちなみに他の音声合成ソフトの挙動とか知らないですか？　UIの参考にしたいなと。

すいませんが分かりません。SRTを読み込んだ時どうなるかという話でしたら多くの動画編集ソフトでは単純にテキスト用のタイムラインに各開始時間から終了時間の位置に各テキストがあらわれます。

VOICEVOX Editorのレポジトリにissueを書いておいてですが、この機能のための特別なUIは必要ないと思います。 SRTファイル自体の調整は他のソフトウェアですれば良いと思います。 UIをつけるとするならば開始時間,終了時間,テキストを表示させて正しく読み込めたことを確認する画面とその横に各テキストの音声合成の進行状況のプログレスバーみたいなのを表示させるくらいで良いと思います。

番号	開始時間	終了時間	テキスト	進行状況
1	00:00:00,000	00:00:04,500	こんにちは、お元気ですか。	完了
2	00:00:04,500	00:00:04,500 --> 00:00:09,120	はい、調子が良いです	------

Voicevox editorのメニューバー->ファイル->SRTファイルから音声を書き出すという項目を作ってそれによって読み込んだ後↑のような画面をポップアップさせる、というようにしてもよいのでもしあれば私が実装してみたいです。 (公式のEditorの機能として必要ないのであれば,私が静かに個人レポジトリに書きます.)

最後に質問なのですが、

音声合成する前にそのテキストによる音声が何秒になるのかはどうにかして分かりますか？
音声合成した結果10秒になった場合に、同じテキストのままspeedScaleを2.0にした場合は正確に5秒になるような仕組みになっていますか?(speedScale1.5で試したところ,5.676秒/3.745秒~1.5156になってしまいました。)
音声合成の結果の音声の再生時間を特定の時間ちょうどにするために何か良いアイデアはありますか？

UIはたしかにガッツリした変更は不要かもしれませんね！！

voicepeakにSRT読み込み機能があるのですが、見た感じ「SRTファイルを読み込む」というメニューアイテムが有る感じでした！機能名の参考になるかなと。

進行バーはUIを作らず、一旦簡易的に％だけ表示するものでも良いかもと思いました！この方法であれば既存でProgressDialog.vueというUIがあります。

最後の質問に関して、ご質問もありがとうございます！！なんでも聞いていただければ！こんな感じの回答となりそうです。

何秒になるか分かる方法
- 正確に計算する方法は現状ありません
- エンジン側と同じ処理をする計算コードをエディタで書くか、エンジン側に新しくAPIを作るかになりそうです
- どちらも正確な計算を行えるようにするにはコアライブラリ側にも手を入れないといけないので、かなり大変かもです
正確に話速を変える方法
- こちらも無さそうです
- 話速は長さを/=する素直な実装なのですが、たしか合成される音声の長さ最小単位が決まっていて（おそらく256/24000=0.010666･･･秒）、それ以上の分解能がないため誤差が生じると思います
- この最小単位が決まってるというのがタスク遂行に結構問題なことに今気づきました･･･。
特定の時間ちょうどにするアイデア
- 大体一致する話速で合成して、音声長の端数が合うように無音音声部分を切ったり付けたりなどでしょうか
  - なってほしい音声長を記録しておくデータ構造を足す必要があるので、かなり大変かもです
- 時間ちょうどにするアイデアではないのですが、いったん誤差があるまま作ってみるのもありかもです
  - 仮に長くなるものと短くなるものが同じ確率でできるのであれば、合計時間の誤差が蓄積しづらいので、誤差が合っても実用上はなんとかなるかもと思いました

VOICEVOX / voicevox