search

wenda-LLM / wenda

闻达：一个LLM调用平台。目标为针对特定环境的高效内容生成，同时考虑个人和中小企业的计算资源局限性，以及知识安全和私密性问题
GNU Affero General Public License v3.0
6.23k stars 810 forks source link

模型返回的结果，经常写到一半就不写了，停住了，4090 24g显卡，glm2-fp16 模式运行 #456

Open gsk147 opened 1 year ago

gsk147 commented 1 year ago

请问大佬们，这个需要调整什么参数嘛，还是我哪里配置可能有问题，控制台无明显报错，显存也没超 image image image

xubinxinant commented 1 year ago

你看看max token是不是设置的太小了，默认是2048，加大一点

gsk147 commented 1 year ago

max token我设置了一万，一般输出1000个字左右就会停住不写了

xubinxinant commented 1 year ago

max token我设置了一万，一般输出1000个字左右就会停住不写了

看看后台输出，是完整内容还是停止了

gsk147 commented 1 year ago

我加上历史记录，让他接着上文继续输出就好了