search

ztxz16 / fastllm

纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行
Apache License 2.0
3.3k stars 334 forks source link

Revert "添加add_special_tokens选项，默认true，支持chatglm模型" #456

Closed ztxz16 closed 4 months ago

ztxz16 commented 4 months ago

Reverts ztxz16/fastllm#451

ACTIONS没有过... 先revert了