search

li-plus / chatglm.cpp

C++ implementation of ChatGLM-6B & ChatGLM2-6B & ChatGLM3 & GLM4
MIT License
2.84k stars 327 forks source link

多卡推理 #264

Open Dreamerzp opened 4 months ago

Dreamerzp commented 4 months ago

一张显卡放不下单个模型的情况下，支持多卡推理吗？