search

ztxz16 / fastllm

纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行
Apache License 2.0
3.23k stars 325 forks source link

结果返回一直是<unk> #452

Open VincentLore opened 2 months ago

VincentLore commented 2 months ago

显卡为4090，系统Ubuntu 22.04 驱动和CUDA Driver Version: 550.54.15 CUDA Version: 12.4 python 3.10 尝试用chatglm2、chatglm3、qwen1.5均只能输出 image

VincentLore commented 2 months ago

image