OpenBMB / MiniCPM-V

MiniCPM-V 2.6: A GPT-4V Level MLLM for Single Image, Multi Image and Video on Your Phone
Apache License 2.0
12.52k stars 880 forks source link

minicpm-v-2.6在OpenCompass评测结果65.2是怎么得到的? #531

Closed ninth99 closed 2 months ago

lihytotoro commented 2 months ago

您好,感谢您的提问! 我们的模型在 opencompass 各项 benchmark 上的分数都是基于 eval_mm/vlmevalkit 目录进行评测的,具体评测方法请参考 https://github.com/OpenBMB/MiniCPM-V/blob/main/eval_mm/README_zh.md#opencompass。我们可以确保在 8 卡情况下复现出同样的结果。 以下是我们在评测时使用的环境: