aws-samples / generative-ai-use-cases-jp

すぐに業務活用できるビジネスユースケース集付きの安全な生成AIアプリ実装
MIT No Attribution
674 stars 121 forks source link

【不具合フィードバック】出力が途中で途切れる #572

Open xtc-izou opened 3 months ago

xtc-izou commented 3 months ago

問題の概要

以下のような感じで「Web コンテンツ抽出」を利用すると出力が途切れます。

  1. 以下のような形で設定 image

  2. 途中で出力が途切れる image

xtc-izou commented 3 months ago

追記(7/30)

但し、以下の一文を「整形」フェーズのコンテキストに追加することで、議事録作成の方は全て出力されるようになりましたので、共有させて頂きます。Claude 3.5でテストしております。

コンテキスト

image

tbrand commented 3 months ago

https://github.com/aws-samples/generative-ai-use-cases-jp/pull/576 こちらで最大出力トークン数の調整がされているのですが、最新の main ブランチでも発生するか確認していただけますでしょうか?

xtc-izou commented 3 months ago

@tbrand ご確認ありがとうございます。試してみます!

xtc-izou commented 3 months ago

@tbrand

576 で再度試してみました。

  1. Webコンテンツ抽出 こちらのページの翻訳は、最後まで出力されるようになりました。 https://www.crowdstrike.com/falcon-content-update-remediation-and-guidance-hub/

  2. 議事録作成 やはり途中で切れます。元ネタは、30分程度の会議のTeamsトランスクリプトですが、 30分弱の会議でも文書生成が途切れてしまいます。Teamsのトランスクリプトを途切れない範囲で分割して、 それを文書生成の下図の箇所で結合して議事録を作成してどうなるか試してみます。 image

xtc-izou commented 3 months ago

@tbrand Teamsから出力されたトランスクリプトを分割して整形、それを任意の範囲で繰り返し、 最後に分割した内容を議事録作成メニューでマージすることで議事録としては正常に出力されることを確認しました。

tbrand commented 3 months ago

ありがとうございます。最新の main ブランチに「続きを出力」ボタンを実装しました。お手隙でそちらもご検討ください。出力が途切れた際「クリア」「実行」ボタンの並びに「続きを出力」ボタンが出ます。

xtc-izou commented 3 months ago

@tbrand ありがとうございます!試させて頂きます!

chikaaki commented 2 months ago

@tbrand 音声データの文字起こしの整形で「続きを出力」ボタンを試しています。問題なく続きが出力されるのですが、整形結果が2回出力されています。

わかりにくい説明で恐縮ですが、以下のイメージです。(①②③④を整形結果として記載します。) 1.文字起こし内容が多いため、max_tokenに引っかかり、整形の出力が途中で途切れる。(①②③で途切れて、④が出ない) 2.「続きを出力」で、途切れた部分から整形の続きが出力される。(①②③の続きに、④の結果が出力される) 3.出力中、内容的に整形が完了するが、その直後に再度最初から整形結果が出力される。(①②③④①②と出力され途切れる) 4.再度「続きを出力」で、処理が完了するが、整形内容が重複している。(①②③④①②③④)

xtc-izou commented 2 months ago

@tbrand 私の方も試してみましたが、「続きを出力」を押下すると、なぜか最初の文章の整形に戻ります。