search

lm-sys / FastChat

An open platform for training, serving, and evaluating large language models. Release repo for Vicuna and Chatbot Arena.
Apache License 2.0
35.53k stars 4.36k forks source link

glm4 Churn out #3411

Open pingyuan2016 opened 1 week ago

pingyuan2016 commented 1 week ago

安装命令 pip install git+https://github.com/lm-sys/FastChat.git

执行命令：python3 -m fastchat.serve.cli --model-path ./model/glm-4-9b-chat/

输入：你好等

输出：不停地输出

装的最新版本，这自适应的glm-4是不是还是有bug

image

linh31332 commented 7 hours ago

也遇到一样的问题, 看了一圈，对比了下GLM3和GLM4官方提供的示例，它们终止的 token id 不一样，目前FastChat 似乎还没有兼容到 glm4 的对话模板 image image