ztxz16 / fastllm

纯c++的全平台llm加速库,支持python调用,chatglm-6B级模型单卡可达10000+token / s,支持glm, llama, moss基座,手机端流畅运行
Apache License 2.0
3.28k stars 332 forks source link

修复部分系统的挂起问题,支持在Windows下使用Python模块 #384

Closed TylunasLi closed 8 months ago

TylunasLi commented 9 months ago
  1. 将线程池修改为懒加载,解决部分Windows环境下加载fastllm模块导致python进程挂起的问题,在Windows 10下,对python绑定API(pyfastllm)和简易python调用(fastllm_pytools),在CPU/GPU测试均正常,修复#232;
  2. 增加FAQ文档,重点是提供Windows下编译使用的说明;
  3. 修改cli_demo.py,退出时先手动释放显存,( 可参考 #372 )。