Closed AppleJunJiang closed 9 months ago
这是一个很有意义的项目,它帮助了我在本地运行模型,而不必买昂贵的GPU。
我成功地在 windows 上编译出来了 main.exe。 不过一大堆警告让人汗... 不过好歹能运行,能正常说话。 环境如下: windows 11, MSVC2022 + CMake。
在Windows 下编译会有几个文件需要修改,特定地,我参考 ChatGLM.cpp 修改了一些代码。
主要是: 1) 修正了 main.cpp 在windows 控制台下中文输入问题,以及 内存映射函数的windows 版本(移植ChatGLM.cpp中的代码,很容易)。
2) tiktoken.h 中第 181 行需要修改为: return { std::move(special), re2::StringPiece( start, start + ( input.begin() - start - special.size()) ) };
3)qwen.cpp 中的 MappedFile 需要添加 Windows 上的函数 ( 参考 ChatGLM.cpp 中的代码)。
4) msvc 在识别常量中有换行符的问题:在 CMakeFile 中添加识别编译器,并添加开关
if (CMAKE_CXX_COMPILER_ID STREQUAL "MSVC") add_compile_options("$<$:/source-charset:utf-8>") endif()
qwen-for-msvc-modified.zip
感谢,已经成功编译,在rtx3060 6G上运行良好
这是一个很有意义的项目,它帮助了我在本地运行模型,而不必买昂贵的GPU。
我成功地在 windows 上编译出来了 main.exe。 不过一大堆警告让人汗... 不过好歹能运行,能正常说话。 环境如下: windows 11, MSVC2022 + CMake。
在Windows 下编译会有几个文件需要修改,特定地,我参考 ChatGLM.cpp 修改了一些代码。
主要是: 1) 修正了 main.cpp 在windows 控制台下中文输入问题,以及 内存映射函数的windows 版本(移植ChatGLM.cpp中的代码,很容易)。
2) tiktoken.h 中第 181 行需要修改为: return { std::move(special), re2::StringPiece( start, start + ( input.begin() - start - special.size()) ) };
3)qwen.cpp 中的 MappedFile 需要添加 Windows 上的函数 ( 参考 ChatGLM.cpp 中的代码)。
4) msvc 在识别常量中有换行符的问题:在 CMakeFile 中添加识别编译器,并添加开关
if (CMAKE_CXX_COMPILER_ID STREQUAL "MSVC") add_compile_options("$<$:/source-charset:utf-8>")
endif()
qwen-for-msvc-modified.zip![win_run_qwen](https://github.com/QwenLM/qwen.cpp/assets/148225008/1ae45fc2-1014-4be4-8495-5e83e74fc10f)