search

ztxz16 / fastllm

纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行
Apache License 2.0
3.23k stars 325 forks source link

GLM-4-6B-Chat转换成flm格式后不能加载 #465

Closed HofNature closed 4 weeks ago

HofNature commented 1 month ago

使用model.save("model.flm")保存之后 无论是用llm.model("model.flm")加载 还是用main -p model.flm 都提示这个错误： FastLLM Error: Unkown model type: "chatglm" terminate called after throwing an instance of 'std::__cxx11::basic_string<char, std::char_traits, std::allocator >'

ztxz16 commented 1 month ago

后面会更新下文档，这个模型目前是直接读取的 ./main -p "hf文件夹目录" python里是model = llm.model("hf文件夹目录")

ztxz16 commented 1 month ago

后面会更新下文档，这个模型目前是直接读取的 ./main -p "hf文件夹目录" python里是model = llm.model("hf文件夹目录")

HofNature commented 1 month ago

谢谢回复，也就是暂时不再支持到Flm格式的转换了是吗？

ztxz16 commented 1 month ago

谢谢回复，也就是暂时不再支持到Flm格式的转换了是吗？

恩，直接读应该更方便吧 以后应该可以让直接读的模型可以导出，相当于之前的转模型了

HofNature commented 1 month ago

谢谢您的解答