[project-s] 最初の実装タスクリスト

[sigprogramming]

内容

メンテナーからのお願い：このタスクはまだ実験段階です。ユーザーの方から過度な期待を受けてがっかりされないよう、SNSなど開発コミュニティ以外での言及は伏せてください。

VOICEVOXに歌声合成の機能を追加します。 ひとまず実装する機能を元にタスクを書き出しています。適宜追加修正を行っていければと思います。

実現方法

作業はproject-sブランチで行われます。

タスクリスト

• [x] エディター
  • [x] 歌声合成の画面を作成
    • [x] 声 / 歌の切り替え
  • [x] ファイル読み込み/出力
    • [x] インポート（プロジェクトにインポート）
      • [x] MIDIインポート
      • [x] MusicXMLインポート
    • [x] エクスポート
      • [x] Waveエクスポート
  • [x] シンガー
    • [x] シンガーの情報を表示
      • [x] 名前と画像を表示
    • [x] シンガーの変更
  • [x] テンポ、拍子の設定
  • [x] 音量の設定
  • [x] ピアノロール
    • [x] スクロール
      • [x] 縦スクロール
      • [x] 横スクロール
    • [x] ズーム
    • [x] 基本的な描画機能
      • [x] 鍵盤を描画
      • [x] グリッドを描画
        • [x] 小節のラインを描画
        • [x] 拍のラインを描画
        • [x] スナップ（クオンタイズ）のラインを描画
      • [x] ノートを描画
    • [x] スナップ
    • [x] 再生位置の制御・描画
      • [x] 再生バーを描画
      • [x] オートスクロール
    • [x] ノートの編集
      • [x] ノートの選択
      • [x] 歌詞を入力
      • [x] ノートの追加
      • [x] ノートの移動
      • [x] ノートの削除
      • [x] ノートの長さ変更
      • [x] Tabキーによるノートの移動
      • [x] トランスポーズ
  • [x] プレイヤー
    • [x] 音声を再生
    • [x] 再生位置を表示
    • [x] 最初に戻る（シーク）
  • [x] 歌声合成（歌ボ形式）
    • [x] シンガー・スコア変更時に合成
    • [x] スコアを休符で区切って複数のフレーズに変換
    • [x] 各フレーズを音声合成
    • [x] 各フレーズの音声をミックス

その他

• プロジェクトの保存はデータ構造が決まってきたときに実装
• 曲中のテンポ・拍子、調号、強弱記号などに後で対応しやすいように実装
• mainブランチにマージしやすいように進める（極力既存コードとファイルを分けて開発）

[Hiroshiba]

issue作成ありがとうございます！

このプロジェクトはまだどうなるか全くわからない実験段階なのですが、一般の方の目にふれると間違いなく過度な期待を集めてしまうと思います。 issue内にも書いて頂いた通り、開発コミュニティ外での言及は避けていただくようよろしくおねがいします 🙏

[Patchethium]

Following the comments here, let's say there might be some advantages in implementing it in JavaScript, like being able to run in browser and mobile platforms. However, I don't think they're important enough to be worth the effort, here is some reason:

• No available npm packages means the piano roll needs to be built from scratch, making the development painfully long. The only piano roll package (last updated 7 years ago so it's not usable now) is implemented in WebGL and canvas, it's likely you'll have to do it the same way to insure it runs fluently, which is another torture.
• It's not a good idea to use piano rolls on a smart phone, due to the limited screen size and input devices. Refer to the ACE virtual singers, which doesn't include a piano roll in its mobile app and moves it to pc, while already having a very high quality SVS engine.
• The web platform is neither promising, Synthesizer V used to have a web editor but the team gave it up two years ago. BTW following it we maybe able to port openutau to browser, Synthesizer V somehow doesn't use webgl on its web editor, instead uses WebHID, WebNFC, and Web Serial to connect directly to a native GUI program. (Nah I got it wrong, I don't know how they achieved that)

We all have heard of that "don't repeat yourself", it's totally okay to fork someone else's code, it might not even be his code anyway XD

[Hiroshiba]

@Patchethium Thanks for all the reports! As you said, it may indeed be difficult to develop in a browser or smartphone app. Well, but Javascript is a familiar language with a lot of engineers, so I think it is a good and challenging thing to try to develop it.

As we mentioned at the beginning of this issue, we are not sure if it will be successful or not. To avoid disappointing our users, we are developing it quietly and not revealing it too much publicly. So please don't go around telling everyone about it just yet...!

---

@Patchethium いろんな報告ありがとう！ 仰るとおり、たしかにブラウザやスマホアプリで展開するのは難しいかもしれませんね。 まあでもJavascriptはエンジニアの数が多く、馴染み深い言語であるのは間違いないので、開発に挑戦するのは挑戦的で良いことだと思っています。

このissueの冒頭にも書いていますが、うまくいくかどうかわかりません。 ユーザーの期待を裏切らないように、今はあまり表に出さずひっそりと開発しています。なので今はまだ言いふらさないでくださいね･･･！

[Patchethium]

なので今はまだ言いふらさないでくださいね･･･！

Don't worry, I don't have accounts on twitter :)

[Hiroshiba]

先ほどこちらのproject-sの内容が告知されました 🎉 https://x.com/voicevox_pj/status/1740332179895570484?s=20

プロトタイプ版のリリースを１月末に予定しています。 OSS的には変則的なのですが、プロトタイプリリースの少し後くらいまで、プルリクエストをあまり受け付けない形を取らせていただこうと考えています。 というのも歌エディタを開発していてわかったのですが、トーク用のエディタとは比較にならないほど複雑になることがわかったため、いろいろ詳しく知るコア開発メンバーで丁寧に土台作りを進めたいためです。 （リアルタイムの音声レンダリング・UIレンダリングを求められる箇所が多々あってどうしても複雑になります。）

何卒ご理解いただけますと幸いです！！

[Hiroshiba]

@romot-co @sigprogramming @y-chan project-sをｍainブランチにマージしても良さそうな気がしたので相談です！

先日エディタ0.15がリリースされました！ 次のバージョン0.16でproject-sの機能がリリースされる予定です。 となると別にもう分けておく必要はあまりなく、どっちかと言うとproject-sにmainブランチをマージしていく作業があるので、もう合流させてしまって良いのかなと！ そうだった場合はこれからはmainブランチにプルリクエスト送っていく方針になるかなと思います。

特に問題などがなさそうであればそのうちマージしようかなと思います 🙏 （普通のエンジンだけを使っている時に致命的にはバグらないことが確認でき次第になるかもです）

[Hiroshiba]

@y-chan コアのproject-sブランチですが、release-0.14から始まってないことに気づきました。 なのでrelease-0.14から改めてブランチを作ろうと思います。方針こんな感じかなと。

1. release-0.14からrelease-0.15を作成
2. release-0.15ブランチにproject-sブランチのコミットをcherry-pickしていく
3. project-sブランチを削除

最後のproject-sブランチはどうするか置いといて、とりあえず１と２を進めようと思います。

あと、0.15系のpreviewビルドが大量にあって、release-0.15と混じってかなりややこしくなるのですが、一旦仕方ないかなと思ってます。 0.15系previewビルドは消しても良いのですが、VVMが使える新しいビルドができるまで１つは残しておいたほうが良さそうなのと、とりあえず放置でも良さそうなので、一旦置いとこうと思います。

[Hiroshiba]

完了しました！

• コアのrelease-0.14からrelease-0.15を作成
• upstream/project-sブランチ上でgit rebase --onto release-0.15 00c43153d42032ad3044ebf9e780d6af5c3f2bf0
  • 後半のコミットhash値は過去のmainブランチ上のコミット
• release-0.15でgit merge project-s
• project-sブランチを削除

[Hiroshiba]

エンジンのprojcet-sブランチをmasterブランチへマージしようと思います。 とりあえず作業進めます。

完了してproject-sブランチを削除しました！

[Hiroshiba]

エンジンのビルドが完了し、エディタのproject-s ブランチもマージできる準備がそこそこ整ったので、main ブランチにマージしていきたいと思います！

2024/01/29 2:37　完了しました！！

[Hiroshiba]

コアの0.15.0ビルド、１回消して再度アップロードしようと思います 🙇

[Hiroshiba]

エンジンAPIの変更を行う予定です。詳しくはこちら。

あとスタイルタイプの名称変更も行う予定です。 今はtalk/humming/sing_teacher/singですが、talk/frame_decode/singing_teacher/singになる予定です。

[tarepan]

issueタイトルにある 「最初の実装」は完了した、という認識で合っているでしょうか？（close可能？）

[Hiroshiba]

@tarepan コメントありがとうございます！　close 可能という認識です！！

改めてお疲れ様でした！！！ @sigprogramming @romot-co @y-chan

OSS放送のアーカイブをyoutubeにアップロードしておきました！ https://youtu.be/EwmwsMSFAhk （他の方にご共有いただいても問題ありません 🙏 ）