search

OpenBMB / MiniCPM-V

MiniCPM-Llama3-V 2.5: A GPT-4V Level Multimodal LLM on Your Phone
Apache License 2.0
7.98k stars 558 forks source link

💡 [REQUEST] - minicpm是否可以用来做目标检测任务呢？ #323

Closed xyw1 closed 8 hours ago

xyw1 commented 1 week ago

起始日期 | Start Date

No response

实现PR | Implementation PR

No response

相关Issues | Reference Issues

No response

摘要 | Summary

minicpm是否可以用来做目标检测任务呢？ 图像数据标注为目标的坐标和标签

基本示例 | Basic Example

图像数据标注为目标的坐标和标签

缺陷 | Drawbacks

未知

未解决问题 | Unresolved questions

No response

LDLINGLINGLING commented 1 week ago

目前minicpmv的预训练中这一类任务较少，可能需要补充大量数据

daihuidai commented 1 week ago

经过测试MiniCPM2.0 lora微调或仅微调对齐模块后的定位能力很差，能简单识别，但是定位偏差很大。没有做过全量微调测试

LDLINGLINGLING commented 4 days ago

经过用于以及我方多模态同学测试，训练后，2.5版本定位能力不错

qyc-98 commented 1 day ago

您好我们更新了lora微调和加载参数的方式，模型代码也有更新，您可以重新尝试一下