search

ztxz16 / fastllm

纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行
Apache License 2.0
3.3k stars 334 forks source link

修复webui/apiserver的Windows编译，并支持直接读取HF模型 #466

Closed TylunasLi closed 3 months ago

TylunasLi commented 3 months ago
  1. 修复 #464 中引入的 webui / apiserver 的windows编译问题，修复 main 的 windows编译（只是编译通过）；
  2. main / webui / apiserver 找不到文件则退出；
  3. webui / apiserver 支持直接读取HF .safetensers 模型；

测试情况

在以下环境测试过编译：