search

ztxz16 / fastllm

纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行
Apache License 2.0
3.31k stars 339 forks source link

微调后的GhatGLM2-6B模型导出flm格式报错 #298

Open Rorschaaaach opened 1 year ago

Rorschaaaach commented 1 year ago

模型导出：model = AutoModel.from_pretrained(xxx) model = llm.from_hf(model, tokenizer, dtype = "float16") model.save(xxx)

模型载入：llm.model(xxx)

报错内容：Segmentation fault (core dumped)

是因为微调后导致的嘛？

siemonchan commented 1 year ago

是用PEFT进行的微调吗

Rorschaaaach commented 1 year ago

lora微调的，刚刚用tools/scripts/chatglm_export.py重新生成了一遍，可以用了

chestnut111 commented 11 months ago

lora微调的，刚刚用tools/scripts/chatglm_export.py重新生成了一遍，可以用了

你是参数PEFT加载之后再 export 吗、 加速效果明显吗、