音声認識、LLM、音声合成を実装

[daikUGene]

詳細

音声認識、LLM、音声合成の最低限の機能を実装する。 ウェイクワードや応答の高速化などは別のissueにて対応する

使用するライブラリ・API

Raspberry Pi上で高速に実行させるため、以下のライブラリ・APIを使用する。

• 音声認識：Google Speech Recognition
• LLM：Gemini 1.5 Flash
• 音声合成：gTTS

[daikUGene]

Gemini 1.5 Flashを音声認識に使うのもありだが、#5 にて試したところ以下の問題が発生。

• ファイルをアップロードする必要がありそうで時間がかかる
• 確率によってはタイムスタンプがついた結果が出るなど、出力が不安定

改善策

• 音声認識自体は高速でファイルアップロードに時間がかかっているので、ファイルをアップロードしなくてもいい方法を模索する
• 入力を工夫するなどして出力を安定させる

[daikUGene]

コミットの詳細

• 音声認識、LLM、音声合成を最低限実装
• 会話の流れは以下の通り
  1. Ai側が音声で語りかけてくる
  2. 音声認識を開始しユーザの発話を待機する
  3. ユーザの発話があればLLMで応答発話を生成して音声合成で返す

所感

• 思ったより早く応答が返ってきて良い感じ
  • 実際に時間計測したい

改善点

• さらなる高速化 LLMのストリーミング化など
• プロンプトで性格を与えるべき
• 音声認識やLLMのエラー処理が雑