search

ztxz16 / fastllm

纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行
Apache License 2.0
3.33k stars 341 forks source link

完善“支持的模型”文档 #478

Closed TylunasLi closed 4 months ago

TylunasLi commented 4 months ago

目前还有一些理论上支持的模型（Yi1.5、internlm2.5等等）没有测试过，先更新这么多。