search

THUDM / CogVLM2

GPT4V-level open-source multi-modal model based on Llama3-8B
Apache License 2.0
1.42k stars 77 forks source link

微调glm-4v-9B时的lora-target应该写什么？ #119

Open Qinger27 opened 6 days ago

Qinger27 commented 6 days ago

使用peft_lora.py 运行，报错ValueError: Target modules {'vision_expert_query_key_value'} not found in the base model. Please check the target modules and try again. 请问对于 glm-4v-9B 模型，这个参数应该是什么？

zRzRzRzRzRzRzR commented 5 days ago

emm 这个是cogvlm的吧，9b的话或许你应该根据9B的代码看看？ 目前我还没做到这个部分的适配

Qinger27 commented 5 days ago

glm-4v-9B 不是你们发布的吗？不好意思啊，我以为你们是一个team😬

zRzRzRzRzRzRzR commented 4 days ago

这两个模型有一定的差距，glm-4v应该少了视觉专家的部分，glm-4v-9b应该是用query_key_value，而且这两个代码应该不兼容，所以估计要重新做的

Qinger27 commented 3 days ago

请问大概什么时候可以给一个finetune的脚本呀？非常期待你们的工作～