[BUG/Help] <无响应>本地模型，webdemo运行成功，无响应

THUDM / ChatGLM-6B

ChatGLM-6B: An Open Bilingual Dialogue Language Model | 开源双语对话语言模型

Apache License 2.0

39.96k stars 5.15k forks source link

[BUG/Help] <无响应>本地模型，webdemo运行成功，无响应 #1425

Open liuyuesheng opened 7 months ago

liuyuesheng commented 7 months ago

Is there an existing issue for this?

[X] I have searched the existing issues

Current Behavior

https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git 从这里下的模型，我看这里的模型都是pytorch_model-00006-of-00007.bin 即00007结尾，推荐的好像是00008结尾，是这个区别吗

Expected Behavior

Steps To Reproduce

直接运行

Environment

- OS:linux
- Python:3.7
- Transformers:
- PyTorch:
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

Anything else?

liuyuesheng commented 7 months ago

搞定了，被yield卡住了，改成return就行，只是不能够一个字一个字打印了 1701228470886

Big-yellowa commented 7 months ago

搞定了，被yield卡住了，改成return就行，只是不能够一个字一个字打印了 ! 请问下为什么我的修改后回答只有两个字这样，还是没有完整的回答

liuyuesheng commented 7 months ago

搞定了，被yield卡住了，改成return就行，只是不能够一个字一个字打印了 ! 请问下为什么我的修改后回答只有两个字这样，还是没有完整的回答

注意 return的位置，他是俩个字俩个字一点点补全结果的不要在for循环内return了，要跳出for循环后return，就是 for和return是并列的

cloudwindy commented 7 months ago

同样遇到这个问题，没办法流式对话了，有解决方法吗？