加速llama3-sqlcoder-8b (Finetuned from model: [Meta-Llama-3-8B-Instruct])模型时，输出内容错误，全部是"!!!!!"

ztxz16 / fastllm

纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行

Apache License 2.0

3.32k stars 340 forks source link

Open Juvember opened 2 months ago

Juvember commented 2 months ago

snipaste_20240915_162308

xiaoshizijiayou commented 1 month ago

我也遇到类似问题了，用qwen2-0.5b的模型就会出这样的错误，目前发现centos有这个问题，ubuntu正常，你的是什么环境？