Closed supercj92 closed 2 months ago
报错信息 python3 -m ftllm.chat -t 16 -p ~/llm/fastllm/models/ --dtype int4 Load AutoTokenizer failed. (you can try install transformers) Try load fastllm tokenizer. zsh: segmentation fault python3 -m ftllm.chat -t 16 -p ~/llm/fastllm/models/ --dtype int4
模型版本: chris@B-40THQ05P-2336 build-fastllm % ls ~/llm/fastllm/models/ chatglm2-6b-int4.flm
python版本 Python 3.12.4
操作系统 芯片 Apple M1 操作系统
-p要指定到.flm文件,指定文件夹的时候读取的是huggingface模型 (btw, chatglm2好老了呀,建议用3或者4)
报错信息 python3 -m ftllm.chat -t 16 -p ~/llm/fastllm/models/ --dtype int4 Load AutoTokenizer failed. (you can try install transformers) Try load fastllm tokenizer. zsh: segmentation fault python3 -m ftllm.chat -t 16 -p ~/llm/fastllm/models/ --dtype int4
模型版本: chris@B-40THQ05P-2336 build-fastllm % ls ~/llm/fastllm/models/ chatglm2-6b-int4.flm
python版本 Python 3.12.4
操作系统 芯片 Apple M1 操作系统