search

QwenLM / Qwen-VL

The official repo of Qwen-VL (通义千问-VL) chat & pretrained large vision language model proposed by Alibaba Cloud.
Other
4.76k stars 359 forks source link

能像qwen-chat一样提供fastapi版本的web api 代码吗? #70

Open seasnakes opened 1 year ago

seasnakes commented 1 year ago

起始日期 | Start Date

No response

实现PR | Implementation PR

No response

相关Issues | Reference Issues

No response

摘要 | Summary

通过fastapi 部署web api 服务,便于远程调用和批处理

基本示例 | Basic Example

例如 图片 文本来进行对话交互的接口,像openai的api

缺陷 | Drawbacks

无

未解决问题 | Unresolved questions

No response

systemoutprintlnhelloworld commented 11 months ago

同求!

jimanji commented 11 months ago

同求，为什么openai_api.py 这个文件，怎么传入image图片信息？跑不起来，有没有readme之类？

qingfengcss commented 11 months ago

我也一样，跑了openai api， 但是不知道如何传入图片信息

tommy3266 commented 11 months ago

+1，同求

cdqncn commented 7 months ago

+1，现在有了吗

irexyc commented 5 months ago

Hi, LMDeploy 目前可以部署Qwen/Qwen-VL-Chat，并支持openai形式的用法。欢迎使用并提供宝贵意见

这里是相关文档。 https://github.com/InternLM/lmdeploy/blob/main/docs/zh_cn/serving/api_server_vl.md https://github.com/InternLM/lmdeploy/blob/main/docs/zh_cn/inference/vl_pipeline.md

ShiGuangNuoYan commented 4 months ago

我自己实现了一个FASTAPI框架下的web调用，可以来我的仓库看一下😄

3030373635 commented 2 months ago

我自己实现了一个FASTAPI框架下的web调用，可以来我的仓库看一下😄

支持并发吗，或者说并行，因为我有大量api请求

ShiGuangNuoYan commented 2 months ago

sorry，这只是部署在单个服务器上，我已经尽量使用异步操作来完成I/O和计算的同时进行。但是想做到大量API之间的并行还需要使用多台服务器，采用轮询或者联邦学习的方式进行响应。

------------------ 原始邮件 ------------------ 发件人: @.>; 发送时间: 2024年6月27日(星期四) 下午4:38 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [QwenLM/Qwen-VL] 能像qwen-chat一样提供fastapi版本的web api 代码吗? (Issue #70)

我自己实现了一个FASTAPI框架下的web调用，可以来我的仓库看一下😄

支持并发吗，或者说并行，因为我有大量api请求

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>