QwenLM / qwen.cpp

C++ implementation of Qwen-LM
Other
514 stars 42 forks source link

期待windows可编译版本 #24

Closed AppleJunJiang closed 9 months ago

yzznw commented 9 months ago

这是一个很有意义的项目,它帮助了我在本地运行模型,而不必买昂贵的GPU。

我成功地在 windows 上编译出来了 main.exe。 不过一大堆警告让人汗... 不过好歹能运行,能正常说话。 环境如下: windows 11, MSVC2022 + CMake。

在Windows 下编译会有几个文件需要修改,特定地,我参考 ChatGLM.cpp 修改了一些代码。

主要是: 1) 修正了 main.cpp 在windows 控制台下中文输入问题,以及 内存映射函数的windows 版本(移植ChatGLM.cpp中的代码,很容易)。

2) tiktoken.h 中第 181 行需要修改为: return { std::move(special), re2::StringPiece( start, start + ( input.begin() - start - special.size()) ) };

3)qwen.cpp 中的 MappedFile 需要添加 Windows 上的函数 ( 参考 ChatGLM.cpp 中的代码)。

4) msvc 在识别常量中有换行符的问题:在 CMakeFile 中添加识别编译器,并添加开关

if (CMAKE_CXX_COMPILER_ID STREQUAL "MSVC") add_compile_options("$<$:/source-charset:utf-8>") endif()

qwen-for-msvc-modified.zip win_run_qwen

AppleJunJiang commented 9 months ago

感谢,已经成功编译,在rtx3060 6G上运行良好