特定のウェイクワードに依存しないスマートスピーカー起動方法の検討

[daikUGene]

詳細

事前に設定したウェイクワードではなく、ユーザの発言内容や行動から会話を開始する方法を検討する

目的

• 決まったウェイクワードを毎回発言するのはスピーカー側にロボットらしさを感じてしまうのではないか
• 人間同士の会話のように、ユーザの話したいという意図をくみとって会話を開始したい

方法

• ユーザの発言内容：LLMを使ってくみとる
• ユーザの行動：カメラの動画をLLMに送って動画から話したいという意図をくみとらせる

懸念点

LLMのリクエスト回数が増えそう。Gemini 1.5 Flashの無料枠の回数では不足しそう

• リクエスト回数を減らしつつ、会話開始を損なわない工夫が必要