search

X-D-Lab / LangChain-ChatGLM-Webui

基于LangChain和ChatGLM-6B等系列LLM的针对本地知识库的自动问答
Apache License 2.0
3.12k stars 469 forks source link

接口的打字机效果失效 #132

Open bk996smile opened 9 months ago

bk996smile commented 9 months ago

部署在服务器后，调用接口进行模型交互，可是打字机的效果一直出不来，用postman调的结果都是整体返回后看到的全量结果，这个要如何做到流式输出？

Yanllan commented 7 months ago

请确认model.create{}中是否有或者参数stream值是否为True, 例如： response = model.create( model='', messages=“*****”, temperature=0.5, stream=True )