Open zoey-zy998 opened 1 year ago
使用api请求 tokenizer = AutoTokenizer.from_pretrained("chatglm2-6b", trust_remote_code=True) model = AutoModel.from_pretrained("chatglm2-6b", trust_remote_code=True).cuda()
# 加入下面这两行,将huggingface模型转换成fastllm模型
from fastllm_pytools import llm
model = llm.from_hf(model, tokenizer, dtype = "int4")
int4模型之前没有多batch加速(现在会有一些),如果是float16模型多batch加速会比较强一点
感谢提升了一倍的效率。但是时间还是太长了,用的机器是A10,24G现存,都是单线程先后4次请求,(开4个线程同时请求更慢)。 请问还有什么提升空间吗 chatglm2 base:
fastllm test:
![b25b982100ae125bea7e3b61367e5f3f](https://github.com/ztxz16/fastllm/assets/55828495/bd78f456-137a-4f6a-a366-9fab08e5cf97)