search

OpenBMB / MiniCPM-V

MiniCPM-V 2.6: A GPT-4V Level MLLM for Single Image, Multi Image and Video on Your Phone
Apache License 2.0
12.14k stars 850 forks source link

MMMU val 分数疑问 #19

Closed Isaachhh closed 7 months ago

Isaachhh commented 7 months ago

关于MiniCPM-V，我注意到Github上报告MMMU val 34.7，而官方leaderboard是37.2？

yiranyyu commented 7 months ago

目前在官方的 githubio 网站榜单上仅有 OmniLMM-12B 41.1(val) 的结果。

Isaachhh commented 7 months ago

20240214-155356 @yiranyyu 榜单上有MiniCPM-V (OmniLMM-3B) 37.2 (val)的结果

yiranyyu commented 7 months ago

抱歉，先前回复中遗漏了相关信息。此处 OmniLMM-3B (MiniCPM-V) 模型在 github readme 内分数偏低的原因是我们的评测提示词和提交到官网结果所用提示词不同。使用 VLMEval Kit 的默认提示词即可复现 37.2 结果。

Isaachhh commented 7 months ago

明白了，感谢！