Open ray-008 opened 1 year ago
我分别对ChatGLM2-6B原始模型、chatglm2-6b-int4.flm模型单卡部署、chatglm2-6b-int4.flm模型多卡部署推理速度做了对比:
ChatGLM2-6B 原始模型推理速度为 100 token/s 左右 chatglm2-6b-int4.flm模型单卡部署推理速度为 220 token/s 左右 chatglm2-6b-int4.flm模型多卡部署推理速度为 100 token/s 左右
100 token/s
220 token/s
多卡部署的时候就无法达到单卡的速度是吧?
目前只写了这个功能,还没优化好 (另外这是什么卡.. 怎么原始模型都可以跑到100tokens / s)
哦,我用的是A100,40G
老哥,能给个chatglm2-6b-int4.flm模型部署推理的代码吗,我这边试了只能用chat()接口,怎么批量推理呢
我分别对ChatGLM2-6B原始模型、chatglm2-6b-int4.flm模型单卡部署、chatglm2-6b-int4.flm模型多卡部署推理速度做了对比:
ChatGLM2-6B 原始模型推理速度为
100 token/s
左右 chatglm2-6b-int4.flm模型单卡部署推理速度为220 token/s
左右 chatglm2-6b-int4.flm模型多卡部署推理速度为100 token/s
左右多卡部署的时候就无法达到单卡的速度是吧?