使用chatglm.cpp调用chatglm3-6b-32k时，非常容易触发无限循环的问题，repetition_penalty设置为2依然没有效果 - Githubissues

THUDM / ChatGLM3

ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型

Apache License 2.0

13.19k stars 1.52k forks source link

使用chatglm.cpp调用chatglm3-6b-32k时，非常容易触发无限循环的问题，repetition_penalty设置为2依然没有效果 #1257

Closed zhoumz123 closed 1 month ago

zhoumz123 commented 1 month ago

System Info / 系統信息

Cuda 12.1，Python 3.8.10，transformers 4.36.2, 操作系统：ubuntu

Who can help? / 谁可以帮助到您？

No response

Information / 问题信息

[X] The official example scripts / 官方的示例脚本
[X] My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

1：启动服务：MODEL=/hy-tmp/chatglm.cpp/chatglm-ggml.bin uvicorn chatglm_cpp.openai_api:app --host 127.0.0.1 --port 8000 2：输入：李清照有哪些著名作品

Expected behavior / 期待表现

无重复内容

zRzRzRzRzRzRzR commented 1 month ago

使用GLM-4开源模型解决该问题，或检查对话模板是否正确，stop id对了吗