search

QwenLM / Qwen-VL

The official repo of Qwen-VL (通义千问-VL) chat & pretrained large vision language model proposed by Alibaba Cloud.
Other
5.07k stars 385 forks source link

💡 [REQUEST] - 推理加速框架 #222

Open skyantao opened 10 months ago

skyantao commented 10 months ago

起始日期 | Start Date

01062024

实现PR | Implementation PR

Qwen-VL 有加速框架吗？如vLLm 或者 llama.cpp等类似框架， 我觉得推理速度有点慢，一张图片我的3090 需要3-5秒

相关Issues | Reference Issues

5️⃣

摘要 | Summary

Qwen-VL 有加速框架吗？如vLLm 或者 llama.cpp等类似框架， 感觉推理速度有点慢，一张图片解析3090 需要3-5秒

基本示例 | Basic Example

Qwen-VL 有加速框架吗？如vLLm 或者 llama.cpp等类似框架， 我觉得推理速度有点慢，一张图片我的3090 需要3-5秒

缺陷 | Drawbacks

Qwen-VL 有加速框架吗？如vLLm 或者 llama.cpp等类似框架， 我觉得推理速度有点慢，一张图片我的3090 需要3-5秒

未解决问题 | Unresolved questions

如题

jessiewiswjc commented 10 months ago

同问

grygg commented 8 months ago

同问

chuangzhidan commented 7 months ago

可以问下你是怎么实现的吗？

起始日期 | Start Date

01062024

实现PR | Implementation PR

Qwen-VL 有加速框架吗？如vLLm 或者 llama.cpp等类似框架， 我觉得推理速度有点慢，一张图片我的3090 需要3-5秒

相关Issues | Reference Issues

5️⃣

摘要 | Summary

Qwen-VL 有加速框架吗？如vLLm 或者 llama.cpp等类似框架， 感觉推理速度有点慢，一张图片解析3090 需要3-5秒

基本示例 | Basic Example

Qwen-VL 有加速框架吗？如vLLm 或者 llama.cpp等类似框架， 我觉得推理速度有点慢，一张图片我的3090 需要3-5秒

缺陷 | Drawbacks

Qwen-VL 有加速框架吗？如vLLm 或者 llama.cpp等类似框架， 我觉得推理速度有点慢，一张图片我的3090 需要3-5秒

未解决问题 | Unresolved questions

如题

可以问下你是怎么实现的吗？如 llama.cpp

xuexidi commented 5 months ago

用lmdeploy可以

chuangzhidan commented 5 months ago

Thanks♪(･ω･)ﾉ

invisifire commented 3 months ago

RTP-LLM 这个项目 上手有难度, 文档写的稀碎,但是实力确实不错