search

QwenLM / Qwen-Agent

Agent framework and applications built upon Qwen>=2.0, featuring Function Calling, Code Interpreter, RAG, and Chrome extension.
https://pypi.org/project/qwen-agent/
Other
3.49k stars 351 forks source link

Qwen-Agent 流式输出 #270

Open qq1005894049 opened 4 months ago

qq1005894049 commented 4 months ago

调用 response=bot.run(history_messages, lang='zh') 流式输出，并不是真正的流式输出，更像是迭代器拼接 [ [ { "role": "assistant", "content": "我是" } ], [ { "role": "assistant", "content": "我是您的" } ], [ { "role": "assistant", "content": "我是您的财务助手" } ] ] 如何实现流式输出。

JianxinMa commented 4 months ago

这个叫全量流式。我猜您要的是增量流式。采用全量流式是因为在必要的时候可以引入复杂的策略（比如 retry、re-ask等机制）。

目前仅llm.chat部分支持增量流式，agent.run默认只支持全量流式。 https://github.com/QwenLM/Qwen-Agent/issues/250#issuecomment-2208541207

riverind commented 3 months ago

llm.chat也并不支持增量流式，见， ![Uploading 截屏2024-07-23 16.52.02.png…]()

JM-SLT commented 2 months ago

agent.run能增加一下增量流式吗

JM-SLT commented 2 months ago

对于这种全量流式，请教下在vue中怎么处理