datawhalechina / self-llm

《开源大模型食用指南》基于Linux环境快速部署开源大模型,更适合中国宝宝的部署教程
Apache License 2.0
6.08k stars 748 forks source link

WebDemo部署对话如何逐字逐句显示而不是一次性生成 #149

Open eternal-bug opened 3 weeks ago

eternal-bug commented 3 weeks ago

感谢老哥的教程,非常清楚!

我按照这个部分本地部署模型:Qwen2-7B-Instruct WebDemo部署,对话什么的没有问题,只不过模型输出是一次性的输出,而不是逐字逐句的显示出来。在模型输出比较少的时候还好,如果输出内容比较多会让人担心是不是模型出了问题。

请问一下,如何调整chatBot.py中的代码以让网页逐字逐句的显示输出内容。

KMnO4-zx commented 3 weeks ago

目前self-llm教程中没有采用流式输出,流式输出学习者理解起来比较困难,所有没有采用。

如果您有精力的话,可以提供一个流式输出的webdemo哦~

eternal-bug commented 3 weeks ago

好的,我琢磨一下