[Bug] lmdeploy加载lora微调模型报错

ltt-gddxz commented 1 week ago

[X] 1. I have searched related issues but cannot get the expected help.
[X] 2. The bug has not been fixed in the latest version.
[X] 3. Please note that if the bug-related issue you submitted lacks corresponding environment info and a minimal reproducible demo, it will be challenging for us to reproduce and resolve the issue, reducing the likelihood of receiving feedback.

基于LORA微调的模型加载预测，报如下错误： 'LoRALinear' object has no attribute 'target_name'

而对于全参微调的模型，可以正常加载预测。

InternVL2-1B基于LORA微调的模型

torch==2.3.1
transformers==4.43.4
lmdeploy==0.5.3(或0.6.3)

No response

lvhan028 commented 1 week ago

可以提供下具体的复现路径么？

ltt-gddxz commented 6 days ago

可以提供下具体的复现路径么？

@lvhan028 就是对internvl2-1b的使用lora finetune，最后训练出来的模型没法用lmdeploy来推理，不知道是不是不支持lora finetune的模型推理？如果支持的话我再排查排查自己的问题

lvhan028 commented 6 days ago

是支持的。https://lmdeploy.readthedocs.io/en/latest/llm/api_server_lora.html 要不，先把 lora 合入到主模型中，测试看看？

lvhan028 commented 6 days ago

可以提供下具体的复现路径么？

@lvhan028 就是对internvl2-1b的使用lora finetune，最后训练出来的模型没法用lmdeploy来推理，不知道是不是不支持lora finetune的模型推理？如果支持的话我再排查排查自己的问题

是直接用 internvl 进行 lora finetune 的吗？方便分享下模型权重么？

InternLM / lmdeploy