运行chatglm3-6b-ggml int4量化模型，采用clblast加速反而比cpu加速慢很多，正常吗？

li-plus / chatglm.cpp

C++ implementation of ChatGLM-6B & ChatGLM2-6B & ChatGLM3 & GLM4

MIT License

2.84k stars 327 forks source link

Open GTJoey opened 5 months ago

GTJoey commented 5 months ago

机器配置i7-12700F，3060显卡12GB显存，64GB 内存。

loli0123456789 commented 3 months ago

机器配置i7-12700F，3060显卡12GB显存，64GB 内存。

可以先观察下推理的时候到底用的CPU还是GPU