如何Merge lora微调后的权重？

OpenGVLab / InternVL

[CVPR 2024 Oral] InternVL Family: A Pioneering Open-Source Alternative to GPT-4o. 接近GPT-4o表现的可商用开源多模态对话模型

https://internvl.readthedocs.io/en/latest/

MIT License

4.46k stars 343 forks source link

Open McCarthyjfq opened 1 month ago

McCarthyjfq commented 1 month ago

我使用了swift库但是merge之后的结果好像是原模型的权重，没有把lora merge进去，请问有没有大佬有什么办法，谢谢！

McCarthyjfq commented 1 month ago

希望可以出一个全套的1.5版本lora微调和merge的教程，will be very helpful，感谢你们的贡献！

njzfw1024 commented 1 month ago

有同样的问题，希望有大佬能够指导一下

SeanWu999 commented 1 month ago

我使用了swift库但是merge之后的结果好像是原模型的权重，没有把lora merge进去，请问有没有大佬有什么办法，谢谢！

请问swift库是怎么merge的，老是报错误

sxlyiyiyi commented 2 weeks ago

我使用了swift库但是merge之后的结果好像是原模型的权重，没有把lora merge进去，请问有没有大佬有什么办法，谢谢！

大佬可以merge了吗

McCarthyjfq commented 2 weeks ago

我已经用swift库merge成功了，如果要用swift的话必须从头到尾都用swift，从微调到merge都用swift（推理可以用官方文件），具体就看swift的description就行，数据集可能要根据swift的要求做一点小修改