search

tuna2134 / sbv2-api

Only infer tts
MIT License
29 stars 5 forks source link

Python版のcuda対応に関すること #95

Open tuna2134 opened 1 month ago

tuna2134 commented 1 month ago

機能追加の説明 GPUとかで動かしたいって方がいるので、その対応としてdynamicを提案する

メリット dynamicにすることでcuda以外でも使える

デメリット ユーザーの負担が増える

Mofa-Xingche commented 3 weeks ago

すみません失礼します GPUで、もしonnx cudaのstyle ber vits2音声合成をしたら、GPUメモリは.safetensorの音声合成に比べて必要なGPUメモリはどれくらい節約できるとおもいますか？ onnx gpuのメモリ節約効果について

Googlefan256 commented 3 weeks ago

実際に計測しないことにはわかりませんが、動的にslotを読み込んだりアンロードする負荷は間違いなく低いため、slotの読み込み上限を付けることで結果的に複数モデル扱うときのVRAM節約をすることはできるはずです。

Googlefan256 commented 3 weeks ago

そこらへんの実装をすることにしました(python版ではなくdocker版に) 同時にGPUに読み込むモデルに上限を付けることでメモリを節約できる機能です。 公式版と比べてGPUとCPU間の転送コストが低いため、高速に行えるはずです。

Googlefan256 commented 3 weeks ago

そこらへんの実装をすることにしました(python版ではなくdocker版に) 同時にGPUに読み込むモデルに上限を付けることでメモリを節約できる機能です。 公式版と比べてGPUとCPU間の転送コストが低いため、高速に行えるはずです。

python版にも実装できそうです

Mofa-Xingche commented 3 weeks ago

ありがとうございます。＞＜