微调后进行模型部署，网页版对话框能打开，进行对话无输出。

[yimisiyang]

Discussed in https://github.com/THUDM/ChatGLM3/discussions/1049

^{Originally posted by **yimisiyang** March 28, 2024} 我使用的是官方ptuning demo进行训练、推理、部署，训练，推理可以跑通，运行 `bash web_demo.sh` 部署后，模型运行正常，GPU显存占用正常，但是web页面，输入问题后，无输出结果。截图如下 web_demo.sh运行图  web端输入问题后运行图  GPU占用情况图，是否说明模型已成功运行？  训练推理后输出的文件图  我调用的是cheakpoint 3000中的模型 

[zRzRzRzRzRzRzR]

改了推理代码了吗，微调模型的话读取模型要修改代码，根微调中的inference.py 一样

[yimisiyang]

没有修改代码逻辑，只是添加了 model.to('cuda') 和 一个判断逻辑，打印一些日志。我用的demo github地址是这个https://github.com/THUDM/ChatGLM-6B/tree/main/ptuning
分别走通了 bash train.sh 和 bash evaluate.sh 进行模型部署，运行 bash web_demo.sh时出现的问题。我修改的 main.py 中的代码如下： 添加 放到GPU上运行 添加判断逻辑： 之所以添加这个判断逻辑，是因为不添加这个，在运行 bash train.sh 会报一个 bos token问题，添加完后刚开始会输出一些 BOS token not found in input_ids list 等一段时间才开始正常训练

[zRzRzRzRzRzRzR]

现在最新版本代码和推理全部够改了，以前的估计用不了诶