Open eternal-bug opened 3 weeks ago
感谢老哥的教程,非常清楚!
我按照这个部分本地部署模型:Qwen2-7B-Instruct WebDemo部署,对话什么的没有问题,只不过模型输出是一次性的输出,而不是逐字逐句的显示出来。在模型输出比较少的时候还好,如果输出内容比较多会让人担心是不是模型出了问题。
请问一下,如何调整chatBot.py中的代码以让网页逐字逐句的显示输出内容。
chatBot.py
目前self-llm教程中没有采用流式输出,流式输出学习者理解起来比较困难,所有没有采用。
如果您有精力的话,可以提供一个流式输出的webdemo哦~
好的,我琢磨一下
感谢老哥的教程,非常清楚!
我按照这个部分本地部署模型:Qwen2-7B-Instruct WebDemo部署,对话什么的没有问题,只不过模型输出是一次性的输出,而不是逐字逐句的显示出来。在模型输出比较少的时候还好,如果输出内容比较多会让人担心是不是模型出了问题。
请问一下,如何调整
chatBot.py
中的代码以让网页逐字逐句的显示输出内容。