chatglm-cpp推理加速比transformer推理慢很多

THUDM / CodeGeeX2

CodeGeeX2: A More Powerful Multilingual Code Generation Model

https://codegeex.cn

Apache License 2.0

7.55k stars 532 forks source link

Open luhairong11 opened 2 months ago

luhairong11 commented 2 months ago

在使用chatglm-cpp推理加速时，比transformer推理慢很多，有人遇到过这个问题吗，采用的模型是codegeex2-6b-int4