search

ztxz16 / fastllm

纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行
Apache License 2.0
3.3k stars 336 forks source link

LLaMA类模型优化 #415

Closed TylunasLi closed 8 months ago

TylunasLi commented 8 months ago
  1. 修复llama类模型流式输出token卡顿的问题 (#403)；
  2. 分别对齐Baichuan-13B-Chat，Baichuan2-13B-Chat模型chat的tokenize结果(#396 #402)，支持两行加速；
  3. 增加《LLaMA 类模型转换参考》文档，代码也做了适配。

以上代码基于Baichuan系列测试。