qwen模型回复缺字 - Githubissues

ztxz16 / fastllm

纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行

Apache License 2.0

3.31k stars 338 forks source link

Open hediyuan opened 11 months ago

hediyuan commented 11 months ago

使用qwen模型加速推理回复经常会有缺字的现象例如模型正常回复应该是：1.异常处理 2.单元测试实际上回复是：1. 常处理 2. 元测试一个词缺的字变成了用一个空格代替，请问这是什么原因？是分词没做好还是什么编码问题呢？

hediyuan commented 11 months ago

而且我试了下，我做代码检查类问题时，面对英文字很多的情况，qwen还是会重复输出，前几句还正常，后面就一直重复最后一句了。。好像长文本也会这样重复输出，求大佬们解惑下帮帮忙 ^_^