search

ztxz16 / fastllm

纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行
Apache License 2.0
3.31k stars 338 forks source link

修复Pyfastllm的命令行示例并更新文档 #370

Closed TylunasLi closed 11 months ago

TylunasLi commented 11 months ago
  1. 修复pyfastllm命令行示例cli_simple.py报错和token拼接错误，实现基本功能，应该能支持ChatGLM以外的模型了。
  2. 新手反馈pyfastllm编译走不通，或找不到 cli.py，故更新文档，