オンプレ化移行 - Githubissues

ksk-14 / ARassistant

0 stars 0 forks source link

オンプレ化移行 #2

Open ksk-14 opened 6 months ago

ksk-14 commented 6 months ago

やること

・AWS環境をローカルPCで再現する・それに伴うUnity側の改修

ksk-14 commented 5 months ago

構成図（一旦ざっくりと）

変更点

IoT、外部API機能は一旦廃止（一旦、日常会話AIアプリを目指す）
音声のビジネスロジックをサーバー側に持たせる
- プロンプトインジェクション攻撃対策の実験や、今後の拡張性を考慮したため
注力点を「音声生成速度」に変更
- フィラー応答やWebSocketなどを使用して速度向上を最重視する
Wit AIの学習データ削除
- Wit AIは文字起こしのみ行う
- Wit AIを使い続ける理由としては、Quest連携が既にできていることと、ストリーミング解析で早いため

ksk-14 commented 5 months ago

できるか不明だが速度改善のために考えていること

ChatGPTへはストリーミングで応答テキストを取得
1の最中、句読点単位でテキストを抽出し、VOICEVOXに投げて音声作成（1が完了するまで繰り返す）
生成した音声データをQuest側で順次ストリーミング再生

これが可能であれば、汎用的な（事前に準備しておいた）フィラー応答ではなく、会話内容に沿ったフィラー応答を動的かつ高速に再生することが可能