tuna2134 commented 1 year ago

内容

Voicevoxをブラウザ上で使うために、webGPUを使えるようにする

ブラウザでvoicevoxが使える

Hiroshiba commented 1 year ago

onnxruntimeが対応しているかどうかが重要な気がします。 @tuna2134 今の所のonnxruntime×webGPUの情報をまとめて、issueに追記しちゃうのはどうでしょう？ 👀

tuna2134 commented 1 year ago

tuna2134 commented 1 year ago

tuna2134 commented 1 year ago

fs-eire commented 1 year ago

Please give a try and feel free to comments in https://github.com/microsoft/onnxruntime/issues/15796 if you get into any issue. Thanks!

hyranno commented 10 months ago

WebGPUはブラウザ専用規格というわけではなく、ネイティブでも動かせるバックエンド(wgpu)が開発されています。なので、ブラウザやMacを含む全環境のGPU実装をWebGPU版で統一できたりする可能性も見れないでしょうか。先程出たwonnxはwgpuを使ってるみたいですね。

tuna2134 commented 10 months ago

そうなんですね、、、

hyranno commented 10 months ago

ブラウザで動作させるならWebAssemblyにコンパイルすることになりそうです。(https://developer.mozilla.org/ja/docs/WebAssembly/Rust_to_Wasm)

にタスクを分解した方が個々のハードルが下がりそうに思いますが、どうでしょう。

onnxruntimeのブラウザ対応ですが、ちょっと調べてみた感じだと、WebAssemblyにビルドするとき

onnxruntimeをwasm向け静的ライブラリ libonnxruntime_webassembly.a にビルド (https://onnxruntime.ai/docs/build/web.html#faq)
voicevox_core側からonnxruntimeのライブラリをリンク(dllと差し替え)

すればよさそうな？

また、voicevox_coreのWebAssemblyを使うために

を含む voicevox_core_javascript_api クレートもあると使い易そうです。 npmパッケージとして公開できるとなお良しでしょうか。

Hiroshiba commented 10 months ago

たしかwasmは他のwasmをimportできないのですが、静的ライブラリにする形ならできるかもですね！！ onnxruntime-webのドキュメントのFAQに.aの作り方案内が書かれてるのは知りませんでした。難度がわからないですね･･･。難しそうな気がしないでもないですが･･･。

sevenc-nanashi commented 10 months ago

675 でonnxruntimeの依存が割と切り離せる（はず）のでwasm-cpu版のビルドはかなり現実的になってきてると思います。

自分が前試した時の記憶ですが、

はずです。それさえなんとかできればwasm-cpuビルドはなんとかできそうな気がします。

sevenc-nanashi commented 2 months ago

そういえば：wasmビルドだけは出来ました。現時点ではWebGPUは無理そうでした。 https://github.com/Hiroshiba/vv_core_inference/pull/5 あたりで色々変わってきそう？