Win32Demo工程增加GLM模型

ztxz16 / fastllm

纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行

Apache License 2.0

3.31k stars 338 forks source link

Closed TylunasLi closed 1 year ago

TylunasLi commented 1 year ago

修复了增加GLM模型支持后，Win32Demo工程的编译错误
- 优化了编译说明；
- Win32Demo默认编译支持Pascal / Turing / Ampere架构
对主要的CUDA API操作增加错误检测机制，以便详细定位错误。
- 对全部的 cudaMalloc() / cudaFree() ，主要的cudaMemcpy()做了状态判断
- 后续需要完善异常处理逻辑。