Windows系统 安装 chatGLM 分享

[kevin-hu-lab]

前置条件 安装python 环境 ，pip 包管理器，CMake 工具(Visual Studio 中安装，选择C++模块)，torch、transformers 包 ，模型选择 ChatGLM3-6B 模型下载 到 D:\LLM\chatglm.cpp\THUDM

一、准备 1: Clone the ChatGLM.cpp repository into your local machine 下载到 D:\LLM\chatglm.cpp 命令: git clone --recursive https://github.com/li-plus/chatglm.cpp.git && cd chatglm.cpp 二、量化模型 2.1 Install necessary packages for loading and quantizing Hugging Face models: 使用这个工具执行命令

命令: python -m pip install torch tabulate tqdm transformers accelerate sentencepiece 2.2 Use convert.py to transform ChatGLM-6B into quantized GGML format. For example, to convert the fp16 original model to q4_0 (quantized int4) GGML model, run 命令: python chatglm_cpp/convert.py -i THUDM/chatglm3-6b -t q4_0 -o chatglm3-ggml.bin

三、构建并运行 D:\LLM\chatglm.cpp

使用 CMake 编译项目： 使用 Visual Studio 命令行工具执行以下命令

命令: cmake -B build 命令: cmake --build build -j --config Release

现在您可以通过运行以下命令与量化的 ChatGLM3-6B 模型聊天： 命令： D:\LLM\chatglm.cpp\build\bin\main.exe -m chatglm3-ggml.bin -p 你好 浏览器中聊天 命令：python D:\LLM\chatglm.cpp\examples\web_demo.py -m chatglm3-ggml.bin

四、常见报错 报错 1 解决1

报错 2 解决2

报错3

解决3

Visual Studio 中安装CMake,Nmake

解决4 解决4 Visual Studio 中安装CMake

[gakkiox]

最后一步启动

先设置模型位置 set MODEL=..\chatglm-ggml.bin 在启动服务 uvicorn chatglm_cpp.openai_api:app --host 127.0.0.1 --port 8000

[loli0123456789]

请问你机器有GPU？我这convert就报错了，提示没cuda.dll。 再一个想问下，这个是不是就是CPU推理呢？我试着在云服务器有GPU跑这个，结果发现竟然也是CPU推理。