修复Windows下编译的几个问题 - Githubissues

ztxz16 / fastllm

纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行

Apache License 2.0

3.3k stars 334 forks source link

修复Windows下编译的几个问题 #439

Closed TylunasLi closed 6 months ago

TylunasLi commented 6 months ago

修复cmake脚本，解决Windows编译fastllm_pytools最后一步的报错
修复由于 #431 修改，Win32Demo编译错误，现在排除了pybinding.cpp。
修复Cmake Windows编译下，int4乱码的问题 MSVC编译器优化选项 "/Ob2"、"/Ob3"与的现有代码冲突会导致该问题，因此Cmake的Release中改为/Ob1。

测试情况

在以下环境测试过：

Ubuntu 20.04
Windows 10 + VIsual Studio 2015R3
Windows 10 + VIsual Studio 2017

在以下模型上测试过：

Chatglm3-6b-int4
Qwen-1.8b-int4