[ISSUE for v2]: VC Client v1にて変換を行ったonnxモデル(jp-HuBERTを使用)のリアルタイム変換が正常に行われない

lenore-puwawa commented 3 months ago

Voice Changer Version

vcclient_win_cuda_2.0.27_1-alpha

Operational System

windows 11

GPU

RTX4090

CUDA Version

12.5

Read carefully and check the options

[ ] If you use win_cuda_torch_cuda edition, setup cuda? see here
[ ] If you use win_cuda edition, setup cuda and cudnn? see here
[ ] If you use mac edition, client is not launched automatically. Use chrome to open application.?
[X] I've tried to change the Chunk Size
[X] I've tried to set the Index to zero
[X] I've read the tutorial
[X] I've tried to extract to another folder (or re-extract) the .zip file

Does pre-installed model work?

YES

Model Type

RVC

Issue Description

VC Client v1にて変換を行ったonnxモデルを使用してリアルタイム変換を行うと変換結果が聞き取れない謎の言語となってしまいます。(これ以外の表現が思い浮かびませんでした、すみません) embedderにjp-HuBERTを使用したモデルで事象を確認しています。

ContentVec等を使用したモデルや、非リアルタイム変換を行った場合に同様の事象が発生するかは未確認です。 v1にてonnx変換に使用したpthファイルを用いてv2にてonnx変換を行った場合は、リアルタイム変換結果に問題はありませんでした。個人的にはonnxモデルを使用する場合はv2にて再度変換を行うようチュートリアルに記載があれば修正対応までは不要かなと思いますが、一応報告させていただきます。

Application Screenshot

none

Logs on console

none

lenore-puwawa commented 3 months ago

追加情報です。アップロード時に生成される「params.json」を確認してみたところ、以下のようになっていました。・pthファイル：hubert_base_japanese_l12 ・v2のonnxファイル：hubert_base_japanese_l12 ・v1のonnxファイル：hubert_base_l12 おそらく、v1のこれが「hubert_base_japanese_l12」となるのが本来想定される動きでしょうか。

w-okada commented 3 months ago

情報提供ありがとうございます。

ちょっと、手いっぱいになっている状況ですが、仕様としては、v1のものも使えるようにする、なので修正はする予定です。

今しばらくお待ちください。

w-okada commented 2 months ago

v 2.0.36-alpha.をリリースしました。多分改善されていると思います。

lenore-puwawa commented 2 months ago

v 2.0.36-alphaにて以下を確認しました。・v1で生成したonnxファイルをアップロードした際に「hubert_base_japanese_l12」となっていること・アップロードしたv1のonnxファイルを用いたリアルタイム変換結果に問題がないこと

早速のご対応、ありがとうございました！ v1と比較して変換速度がとても向上していてすごいです。今後も楽しみにしています。

w-okada / voice-changer