search

KorRyu3 / TriPal

LLM service that offers travel plans
3 stars 0 forks source link

Streamingの実装 #19

Closed KorRyu3 closed 9 months ago

KorRyu3 commented 9 months ago

streamingを実現するため、LangChainのchainをinvoke()からastream_log()に変更 logデータのため、整形しフロントへ送信

非同期generatorを扱いたいため、webフレームワークをFlaskからFastAPIに変更

フロントとサーバー側の通信方法をWebSocketに変更。送受信を簡単に実現

Docker関連のファイルを追加