为什么4090显卡用不了，编译成功之后也是用的cpu推理

li-plus / chatglm.cpp

C++ implementation of ChatGLM-6B & ChatGLM2-6B & ChatGLM3 & GLM4

MIT License

2.84k stars 327 forks source link

Closed sammichenVV closed 6 months ago

sammichenVV commented 6 months ago

cmake -B build -DCMAKE_CUDA_COMPILER="/home/xx/anaconda3/bin/nvcc" -DGGML_CUBLAS=ON -DCUDA_ARCHITECTURES="89"
cmake --build build -j

用这个命令编译之后运行模型还是cpu推理的 ./build/bin/main -m chatglm2-ggml.bin -p 你好 --top_p 0.8 --temp 0.8

gaojuntian commented 6 months ago

请问解决了吗

sammichenVV commented 6 months ago

请问解决了吗

没有，你也有遇到么，现在是用不了GPU

gaojuntian commented 6 months ago

嗯嗯，一样

sammichenVV commented 6 months ago

嗯嗯，一样

用这个命令试试 cmake -B build -DGGML_CUBLAS=ON -DCUDA_ARCHITECTURES="89" && cmake --build build -j --config Release 如果报错，指定下nvcc的位置

TGJek commented 6 months ago

额，看起来是你忘记在构建ML库的时候，给ML库的构建选项加上"使用CUBLAS"了？