search

InternLM / lmdeploy

LMDeploy is a toolkit for compressing, deploying, and serving LLMs.
https://lmdeploy.readthedocs.io/en/latest/
Apache License 2.0
3.15k stars 281 forks source link

能支持下mini_internvl_2b_1.5模型的部署么？ #1774

Closed moyans closed 2 weeks ago

moyans commented 2 weeks ago

Motivation

能支持下mini_internvl_2b_1.5模型的部署么

Related resources

No response

Additional context

No response

lvhan028 commented 2 weeks ago

v0.4.2 是支持这个模型的。 如果要使用离线推理，可以参考 https://lmdeploy.readthedocs.io/en/latest/inference/vl_pipeline.html 如果要部署服务，可以参考 https://lmdeploy.readthedocs.io/en/latest/serving/api_server_vl.html#

irexyc commented 2 weeks ago

我对比了一下这个模型和InternVL-Chat-V1-5。modeling_internvl_chat.py，modeling_intern_vit.py，以及demo中的预处理都是一样的，不同的地方就是一个用了internlm2-20b，一个用了internlm2-1.8b。应该是支持推理的，如果遇到问题了，可以把出错信息贴出来。