export 模型之后，返回的内容都是unk

ztxz16 / fastllm

纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行

Apache License 2.0

3.28k stars 333 forks source link

Open laoyin opened 1 year ago

laoyin commented 1 year ago

hwb96 commented 11 months ago

你的显卡型号有些不支持导致的，我目前unk出现这个问题

PeterXiaTian commented 9 months ago

支持哪些型号的显卡？我现在也全是unk. 而且，感觉也没快啊？