qwen1.5 量化版本的部署方案有么？

datawhalechina / self-llm

《开源大模型食用指南》基于Linux环境快速部署开源大模型，更适合中国宝宝的部署教程

Apache License 2.0

8.24k stars 986 forks source link

Closed chongqingwei closed 5 months ago

chongqingwei commented 7 months ago

大佬有qwen15的量化版么部署方案。

KMnO4-zx commented 7 months ago

本仓库暂时没有，如果有需要的话可以看看vLLM或者LMDeploy

byx020119 commented 6 months ago

大佬有qwen15的量化版么部署方案。

有了，已补充（Qwen1.5-7B-Chat-GPTQ-Int4部署方案 #59 ）

KMnO4-zx commented 6 months ago

readme已更新Qwen1.5-72B-chat GPTQ int4 部署链接