结果返回一直是<unk>

ztxz16 / fastllm

纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行

Apache License 2.0

3.33k stars 341 forks source link

Open VincentLore opened 6 months ago

VincentLore commented 6 months ago

显卡为4090，系统Ubuntu 22.04 驱动和CUDA Driver Version: 550.54.15 CUDA Version: 12.4 python 3.10 尝试用chatglm2、chatglm3、qwen1.5均只能输出

VincentLore commented 6 months ago

Juvember commented 2 months ago

你好，我也遇到了相同的问题，请问你解决这个问题了吗

VincentLore commented 2 months ago

你好，我也遇到了相同的问题，请问你解决这个问题了吗

没有，换其他推理框架了