aws-samples / generative-ai-use-cases-jp

すぐに業務活用できるビジネスユースケース集付きの安全な生成AIアプリ実装
MIT No Attribution
598 stars 108 forks source link

【機能追加要望】音声認識の話者特定及び文書生成の連携について #201

Closed tetuya-iyell closed 1 day ago

tetuya-iyell commented 9 months ago

AWS Transcribeを利用して、音声認識の機能を利用させていただいております 色々と利用をさせていただいているのですが、以下の機能の実装をご検討をいただけませんでしょうか

・音声認識の話者特定 ・音声認識のデータをbedrockに連携し、音声認識データのノイズ除去

ご検討をよろしくお願い申し上げます

kazuhitogo commented 9 months ago

ご連絡ありがとうございます。

・音声認識の話者特定

検討いたします。

音声認識のデータをbedrockに連携し、音声認識データのノイズ除去

現状だと、文字起こし結果をコピーボタンでコピーし、文書生成 usecase に貼り付けていただき、コンテキストに例えば 「文字起こしの文章なので、不自然な文章です。元の正しい文章を復元してください。また、フィラーなどは除去してください。」を入力していただければ(用途に応じて変更してください)、文字起こしをきれいに書き直すことができますが、このような使い方はいかがでしょうか?

tetuya-iyell commented 9 months ago

早速のコメントありがとうございます

現状だと、文字起こし結果をコピーボタンでコピーし、文書生成 usecase に貼り付けていただき、コンテキストに例えば 「文字起こしの文章なので、不自然な文章です。元の正しい文章を復元してください。また、フィラーなどは除去してください。」を入力していただければ(用途に応じて変更してください)、文字起こしをきれいに書き直すことができますが、このような使い方はいかがでしょうか?

上記の方法ですと、ユーザー側でオペレーションをする必要があり、出来れば自動化できるとユーザーサイドとしては使いやすいのではないかと考えています より、踏み込んでみると、音声認識を実行をするさいに、bedrockに連携するか/しないかの選択ができると尚、良いのではと考えております

ぜひとも、ご検討をいただけますと幸いです

よろしくお願い申し上げます

tbrand commented 9 months ago

お世話になっております。当リポジトリをご参照いただきありがとうございます!

ノイズ除去について

こちらのリポジトリは多く方々にご利用いただいているため、個々のユースケースを最適化することはなるべく避けています。代わりに、可能な限りプリミティブな形のユースケースを集めるという方針で開発しております。ノイズ除去に関しては (ご指摘のとおり) Bedrock との連携が必要になり、プリミティブな領域を出ていると思うので、このリポジトリでの対応は難しいと思います。申し訳ございません!

ただ、現在こちらの Issue にて、ユースケース間の連携強化を目指しています。その中で、音声書き起こし文のノイズ除去についても検討しております。

話者特定について

話者特定に関しては Transcribe に完結しているため、何らかの形で追加を検討いたします!

tetuya-iyell commented 9 months ago

ありがとうございます! ぜひとも、早い段階でユースケース間での連携をすすめていただけると助かります

今後の後学を含め、ユースケースの連携を行うえでのサンプルプログラム等あればご教授いただけますと幸いです

よろしくお願い申し上げます

SizeOn-Matty commented 3 months ago

話者識別機能、すごく…欲しいです…。

tbrand commented 1 day ago

話者識別機能リリース完了しております。一旦クローズさせていただきます。