jaws-ug / jpk2024-broadcast-backend

1 stars 1 forks source link

OBS Studio の LocalVocal プラグインを試す #5

Open matsuihidetoshi opened 1 month ago

matsuihidetoshi commented 1 month ago

概要

Todd からの提案で OBS Studio の LocalVocal というプラグインで、話者の喋りをチャンクにしてうまいこと API リクエストできるのでそれを翻訳のトリガーにするのはどうか、という話だったので、一旦それを試したい。 これ の通り API を作って、それを LocalVocal から叩くイメージ。

Tasks

fvkikuchi commented 1 month ago

LocalVocalとAPI連携の使い方

参考動画 https://www.youtube.com/watch?v=qen7NC8kbEQ

  1. プラグインのインストール 以下の2つのプラグインをインストールします。 https://github.com/occ-ai/obs-localvocal https://github.com/occ-ai/obs-urlsource

  2. 音声入力にLocalVocalフィルターの追加 音声ミキサーのマイクで動作確認しました。 マイクのフィルタの+ボタンから「ローカルボーカルトランスクリプション」を追加。 ウィスパーモデルをEnglishのついていないものに変更することで日本語にも対応できます。

    スクリーンショット 2024-07-16 21 56 38

このとき「LocalVocal Subtitles」というソースが作成され、そこに音声の書き起こしが表示されます。 (「LocalVocal Subtitles」を選択し「フォントを選択」からフォントを変更しないと、豆腐になるかも)

  1. 翻訳API連携 ソースの+ボタンから「URL Source」を追加。プロパティの「Setup Data Source」からAPIの設定をします。 スクリーンショット 2024-07-16 21 57 26

URLに翻訳APIのURLを指定し、RequestのBodyとOutputのJSON Pathに翻訳APIの仕様を設定します。 Requestの{{input}}が書き起こしの文字のはいるプレースホルダーです。

「Add Inputs」を押し、+ボタンで入力ソースを追加し、「(Text) LocalVocal Subtitles」を選択することで書き起こしと繋がります。

スクリーンショット 2024-07-17 17 28 18