search

ztxz16 / fastllm

纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行
Apache License 2.0
3.3k stars 337 forks source link

编译完之后运行模型时报错 #484

Closed supercj92 closed 2 months ago

supercj92 commented 2 months ago

报错信息 python3 -m ftllm.chat -t 16 -p ~/llm/fastllm/models/ --dtype int4 Load AutoTokenizer failed. (you can try install transformers) Try load fastllm tokenizer. zsh: segmentation fault python3 -m ftllm.chat -t 16 -p ~/llm/fastllm/models/ --dtype int4

模型版本： chris@B-40THQ05P-2336 build-fastllm % ls ~/llm/fastllm/models/ chatglm2-6b-int4.flm

python版本 Python 3.12.4

操作系统 芯片 Apple M1 操作系统image

ztxz16 commented 2 months ago

-p要指定到.flm文件，指定文件夹的时候读取的是huggingface模型 (btw, chatglm2好老了呀，建议用3或者4)