search

li-plus / chatglm.cpp

C++ implementation of ChatGLM-6B & ChatGLM2-6B & ChatGLM3 & GLM4(V)
MIT License
2.91k stars 334 forks source link

ChatGLM3-6B转换模型后回答输出中英文混杂 #164

Open vscodes2022 opened 10 months ago

vscodes2022 commented 10 months ago

感觉ChatGLM3-6B模型转换后回答质量没有ChatGLM2-6B的效果好，经常出现回复中英文混搭、循环输出直至达到最大长度等问题。 之前ChatGLM2-6B-32K的模型转换后这个问题很明显，但ChatGLM2-6B基本上没这种问题。 现在ChatGLM3-6B的模型不论是原始8K的模型还是32K的模型，这个问题都很突出，能否优化一下啊？

dcw4code commented 10 months ago

我也是同样遇到这个问题

mepwang commented 10 months ago

试一试q8_0看看会不会好些

tastypear commented 9 months ago

q8_0也是一样的问题

tastypear commented 9 months ago

实测f16也有问题，感觉是模型本身的问题： 中英文混合输出，输出会带英语单词

llmadd commented 8 months ago

我测试下来将模型精度提高下从float16改到float32会大幅度降低中英文混杂问题 但是偶尔会有