aws-samples / bedrock-claude-chat

AWS-native chatbot using Bedrock + Claude (+Mistral)
MIT No Attribution
693 stars 237 forks source link

[Feature Request] Please add "Continue Generate" and "Generate stop" button #276

Open Taikono-Himazin opened 2 months ago

Taikono-Himazin commented 2 months ago

Describe the solution you'd like

Implementing a continue button, like the one talked about here

53

I would also like to see a GenerateStop button added.

Why the solution needed

This is because when generating a long sentence, if it ends in the middle, there is a desire to continue it naturally.

Currently, the experience is bad because once the generation starts, you have to wait until it finishes even if you hit the wrong prompt.

Implementation feasibility

Are you willing to discuss the solution with us, decide on the approach, and assist with the implementation?

imvijith commented 4 weeks ago

計画されているこの機能強化に関する更新はありますか。ありがとう :)

Taikono-Himazin commented 4 weeks ago

@imvijith 今、これについて開発中です。 いろいろな開発を並行してやっているので、こちらに対する進捗が遅くなっていますが、方針は固まっています。

・「生成停止ボタン」は、WebSocetを強制的に切断する方法で実現する予定です。 ・「生成継続ボタン」は、AntropicのAPIに生成継続のオプションかそのようなAPIがあったのでそれを呼び出す予定です。

進捗としては、開発画面上でボタンを追加して、バックエンドに通信するところまではできているのですが、そこからClaudeのAPIを呼び出すことなどがまだかかっています。

AmplifyやAWSに慣れていない人に任せているので、私たちの開発は遅いです。 もうしばらく(1ヶ月?)待っていただくか、開発してくださればうれしいです。

ありがとう!

imvijith commented 4 weeks ago

速やかなご返信ありがとうございます。ご指摘の点は理解しましたので、接続を閉じる部分を確認させていただき、解決策が見つかった場合はコードを更新してお知らせします。

statefb commented 1 week ago

Implemented "Continue Generate" on #401