issues
search
ztxz16
/
fastllm
纯c++的全平台llm加速库,支持python调用,chatglm-6B级模型单卡可达10000+token / s,支持glm, llama, moss基座,手机端流畅运行
Apache License 2.0
3.28k
stars
332
forks
source link
修复部分系统的挂起问题,支持在Windows下使用Python模块
#384
Closed
TylunasLi
closed
8 months ago
TylunasLi
commented
9 months ago
将线程池修改为懒加载,解决部分Windows环境下加载fastllm模块导致python进程挂起的问题,在Windows 10下,对python绑定API(pyfastllm)和简易python调用(fastllm_pytools),在CPU/GPU测试均正常,修复#232;
增加FAQ文档,重点是提供Windows下编译使用的说明;
修改cli_demo.py,退出时先手动释放显存,( 可参考 #372 )。