search

ztxz16 / fastllm

纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行
Apache License 2.0
3.28k stars 332 forks source link

qwen输出结果错误 #418

Closed Liufeiran123 closed 6 months ago

Liufeiran123 commented 6 months ago

使用benchmark程序，测试qwen 1.8b chat模型，输出结果全是！，结果完全错误。 ！！！！！！！！！！！！！！！！！！！！！！！！！！！

TylunasLi commented 6 months ago

请问，这个问题是如何解决的呢？