search

ztxz16 / fastllm

纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行
Apache License 2.0
3.23k stars 325 forks source link

fastllm是否支持使用bitsandbytes量化的chatglm3-6b-base int4模型 #434

Open levinxo opened 4 months ago

levinxo commented 4 months ago

目前使用torch2flm脚本转换chatglm3-6b-base int4模型，会产生20多G的.flm文件。 请问是否支持直接将int4量化的chatglm3-6b-base模型转为flm文件并推理？