Closed Halflifefa closed 3 months ago
这种vision大模型分两个部分,视觉和LLM。LLM部分是均分的。vision模型都在0好卡上。均分vision模型是这个月的工作。可能要等一到两周时间
这种vision大模型分两个部分,视觉和LLM。LLM部分是均分的。vision模型都在0好卡上。均分vision模型是这个月的工作。可能要等一到两周时间
好的,会出现这种问题估计也是InternVL-Chat-V1.5的视觉模块太大了,qwen-vl视觉模块就比较小
@irexyc 我测试4 V100 (32G) 单卡跑InternVL-1.5-Chat-Int8,会爆显存,是不是也是类似的问题。但看起来如果文本部分均分的话,32G4应该够用才对,有什么指导建议吗,感谢
@BIGBALLON
InternVL-1.5-Chat-Int8 这个不支持。lmdeploy 的量化,以及vision模型的均分,会在这个月支持。目前请先用fp的模型。
你可以看一下cache_max_entry_count 这个参数,用pipeline接口的话可以像这样,server的话你查一下相关的命令。
pipe = pipeline('model_path', backend_config=TurbomindEngineConfig(tp=4, cache_max_entry_count=0.5)
# 另外这里可以尝试设置一下quant_policy,改为4或者8,进行kvcache的量化
InternVL-1.5-Chat 视觉部分12g,llm部分42G。llm部分均分的话,权重部分:0好卡12 + 11 = 23G,其余卡11g,剩下9G,之后按百分比(cache_max_entry_count)分配kv cache,以0.5算的话,最终1号卡27.5, 其余卡15.5。运行时需要一些额外的buffer,vision模型多batch的话显存会明显增加,你可以把这里改成1。
@irexyc 多谢解答,got it。
期待量化后的模型 以及 vision模型均分的feature! great work!
It is a similar issue to #1563 I am going to close this issue and let's keep tracking it in #1563.
这种vision大模型分两个部分,视觉和LLM。LLM部分是均分的。vision模型都在0好卡上。均分vision模型是这个月的工作。可能要等一到两周时间
这个是在模型中解决?还是在lmdeploy部署的时候解决?
@WangJianQ-cmd
lmdeploy 这边解决,可以关注一下 https://github.com/InternLM/lmdeploy/pull/1591
求问 Dynamic high-resolution 支持不?
@serser
目前就是抄的demo的预处理。
Checklist
Describe the bug
多卡部署InternVL-Chat-V1-5时,显存不是平均分配的,而是大部分在第一张卡上,这导致了两个问题。
改问题无法通过修改cache-max-entry-count解决
Reproduction
支持利用剩余显存
Environment