search

OpenBMB / VisCPM

[ICLR'24 spotlight] Chinese and English Multimodal Large Model Series (Chat and Paint) | 基于CPM基础模型的中英双语多模态大模型系列
1.06k stars 93 forks source link

请问是否有支持lora微调的计划，当前微调的方式大概需要多少G的显卡资源，谢谢。 #25

Closed neverstoplearn closed 11 months ago

Cuiunbo commented 11 months ago

如果需快速低成本微调VisCPM ，可以参考 CPMbee 仓库中的finetune代码，其中使用opendelta 进行LoRA相关操作 下面是可能你需要查看的链接 https://github.com/OpenBMB/CPM-Bee/blob/main/src/finetune_cpm_bee.py

Cuiunbo commented 11 months ago

23 你可以在这个issue下查找到目前微调需要的显卡资源信息