tegnike / aituber-kit

AITuber Kit
MIT License
145 stars 24 forks source link

対話言語を増やす方法は? #5

Closed yelban closed 2 months ago

yelban commented 2 months ago

ありがとうございます、この素晴らしい音声対話AITuberを開発してくれて。初めて試してみましたが、彼女の応答速度は非常に速く、通常の会話レベルに達することができます。お聞きしたいことがありますが、他の言語対話を追加する場合、例えば台湾語(繁体字中国語 / zh-Hant)を追加する必要があるかもしれません。気になさらなければ、喜んで台湾語の対話サポートコードを追加してみたいです。

tegnike commented 2 months ago

@yelban はい、ぜひご対応いただけるなら嬉しいです!! Pull Requestを作成いただければ確認してマージします!!

yelban commented 2 months ago

すごい!AITuberに入力された中国語に基づいて台湾語(繁体字中国語)で返信するよう試してみました。これは、「./src/features/googletts/googletts.ts」内の「languageCode": "zh-TW"」を変更し、locales/enをlocales/zhにコピーすることで実現しました。今ではテキストボックスに中国語を入力して、その返答が得られるようになりました。あなたのプログラムの良い構造から完全に利益を受けています。本当に素晴らしいです!

更新:languageCode" を変更する必要はありません。

現在の問題は、音声認識(ASR)の部分であり、現時点では英語または日本語の音声入力しか使用できません。他の言語を追加するためには、どこから始めればよいか教えていただけますか?

image
tegnike commented 2 months ago

日本語以外の言語はGoogle Text-to-Speachを使用することで対応可能です。 以下を試してみてください。 スクリーンショット 2024-04-30 8 26 12

yelban commented 2 months ago

はい、私は cmn-TW-Wavenet-B 台湾語モデルを設定しており、中国語音声に正しく応答できますが、音声入力の部分では日本語と英語しか受け付けられません。マイクからの他の言語の音声は正しく識別されません。src/components/messageInputContainer.tsx の recognition.lang = selectVoiceLanguage; に気づきました。おそらく設定ページに言語オプションを追加することで台湾語音声入力を正しく識別できるかもしれません。

tegnike commented 2 months ago

なるほど、確かにマイク入力は日本語しか選択できないようになっていますね。 こちら修正しておきます。ご指摘ありがとうございました!

tegnike commented 2 months ago

6

yelban commented 2 months ago

やはり初めて成功を収め、台湾語(繁体字中国語)での音声応答が可能になりました。後ほど修正したコードのPRをアップロードし、参考までにlocal/zhの翻訳テキストも含めます。

image
tegnike commented 2 months ago

ありがとうございます! 後ほど確認して問題なかったらマージします!!