chatglm2速度慢

[zoey-zy998]

感谢提升了一倍的效率。但是时间还是太长了，用的机器是A10，24G现存，都是单线程先后4次请求，（开4个线程同时请求更慢）。 请问还有什么提升空间吗 chatglm2 base： fastllm test：

[zoey-zy998]

使用api请求 tokenizer = AutoTokenizer.from_pretrained("chatglm2-6b", trust_remote_code=True) model = AutoModel.from_pretrained("chatglm2-6b", trust_remote_code=True).cuda()

# 加入下面这两行，将huggingface模型转换成fastllm模型
from fastllm_pytools import llm
model = llm.from_hf(model, tokenizer, dtype = "int4")

[ztxz16]

int4模型之前没有多batch加速（现在会有一些），如果是float16模型多batch加速会比较强一点