Open vscodes2022 opened 10 months ago
感觉ChatGLM3-6B模型转换后回答质量没有ChatGLM2-6B的效果好,经常出现回复中英文混搭、循环输出直至达到最大长度等问题。 之前ChatGLM2-6B-32K的模型转换后这个问题很明显,但ChatGLM2-6B基本上没这种问题。 现在ChatGLM3-6B的模型不论是原始8K的模型还是32K的模型,这个问题都很突出,能否优化一下啊?
我也是同样遇到这个问题
试一试q8_0看看会不会好些
q8_0也是一样的问题
实测f16也有问题,感觉是模型本身的问题: 中英文混合输出,输出会带英语单词
我测试下来将模型精度提高下从float16改到float32会大幅度降低中英文混杂问题 但是偶尔会有
感觉ChatGLM3-6B模型转换后回答质量没有ChatGLM2-6B的效果好,经常出现回复中英文混搭、循环输出直至达到最大长度等问题。 之前ChatGLM2-6B-32K的模型转换后这个问题很明显,但ChatGLM2-6B基本上没这种问题。 现在ChatGLM3-6B的模型不论是原始8K的模型还是32K的模型,这个问题都很突出,能否优化一下啊?