search

QwenLM / Qwen-VL

The official repo of Qwen-VL (通义千问-VL) chat & pretrained large vision language model proposed by Alibaba Cloud.
Other
5.01k stars 377 forks source link

💡 [REQUEST] - <title> 请问何时能支持vllm部署呢 #336

Open su-zelong opened 7 months ago

su-zelong commented 7 months ago

起始日期 | Start Date

No response

实现PR | Implementation PR

No response

相关Issues | Reference Issues

No response

摘要 | Summary

vllm-0.3.0起服务失败

基本示例 | Basic Example

not support yet?

缺陷 | Drawbacks

无法通过api调用测试

未解决问题 | Unresolved questions

No response

irexyc commented 7 months ago

Hi, LMDeploy 目前可以部署Qwen/Qwen-VL-Chat，并支持openai形式的用法。欢迎使用并提供意见

这里是相关文档。 https://github.com/InternLM/lmdeploy/blob/main/docs/zh_cn/serving/api_server_vl.md https://github.com/InternLM/lmdeploy/blob/main/docs/zh_cn/inference/vl_pipeline.md

LianghuiGuo commented 7 months ago

Hi, LMDeploy 目前可以部署Qwen/Qwen-VL-Chat，并支持openai形式的用法。欢迎使用并提供意见

这里是相关文档。 https://github.com/InternLM/lmdeploy/blob/main/docs/zh_cn/serving/api_server_vl.md https://github.com/InternLM/lmdeploy/blob/main/docs/zh_cn/inference/vl_pipeline.md

请问LMDeploy部署的话，可以支持kv-cache加速吗

irexyc commented 6 months ago

请问LMDeploy部署的话，可以支持kv-cache加速吗

支持的，也可以用 LMDeploy 的工具进行awq 量化，其他的量化格式正在支持中。

3030373635 commented 4 months ago

请问LMDeploy部署的话，可以支持kv-cache加速吗

支持的，也可以用 LMDeploy 的工具进行awq 量化，其他的量化格式正在支持中。

Hi, LMDeploy 目前可以部署Qwen/Qwen-VL-Chat，并支持openai形式的用法。欢迎使用并提供意见

这里是相关文档。 https://github.com/InternLM/lmdeploy/blob/main/docs/zh_cn/serving/api_server_vl.md https://github.com/InternLM/lmdeploy/blob/main/docs/zh_cn/inference/vl_pipeline.md

部署qwen-vl-chat后，使用图片对话，一直乱回答。。。我使用来识别图片语种的

elesun2018 commented 3 weeks ago

请问现在是否支持vllm加速 如何才能支持VLLM加速，谢谢 sss