search

InternLM / lmdeploy

LMDeploy is a toolkit for compressing, deploying, and serving LLMs.
https://lmdeploy.readthedocs.io/en/latest/
Apache License 2.0
4.52k stars 409 forks source link

[Feature] 有计划支持xtuner-llava系列吗 #999

Closed KooSung closed 7 months ago

KooSung commented 9 months ago

Motivation

现在有计划支持xtuner-llava系列的VLM吗？比如LLaVA-InternLM2-7B (XTuner)

Related resources

No response

Additional context

No response

lvhan028 commented 9 months ago

还没有具体的时间表，lmdeploy的turbomind已经有关于多模态推理接口。 可能一个比较快实现的方式是在 xtuner 那边集成 lmdeploy。我们内部还在讨论中

pppppM commented 8 months ago

正在 xtuner 中开发，但由于功能比较复杂，还需要一些时间 @KooSung https://github.com/InternLM/xtuner/pull/317

lvhan028 commented 7 months ago

hi, @KooSung

lmdeploy v0.2.6 支持了 llava, qwen-vl, yi-vl 等模型的推理 pipeline 和serving。

关于 xtuner-llava 系列，我们觉得在 xtuner 侧增加比较合适。具体请关注 https://github.com/InternLM/xtuner/pull/317

这个issue就先关掉了。