open-compass / VLMEvalKit

Open-source evaluation toolkit of large vision-language models (LVLMs), support 160+ VLMs, 50+ benchmarks
https://huggingface.co/spaces/opencompass/open_vlm_leaderboard
Apache License 2.0
1.34k stars 188 forks source link

MME-RealWorld-CN的评测集适配问题 #491

Closed ManiiXu closed 1 month ago

ManiiXu commented 1 month ago

使用工具进行MME-RealWorld-CN评测后,发现结果xlsx中部分题目的选项内容存在错误: 如index=4820-5616,每个选项都少了第一个字符,排查发现选项内容是这样提取的:'A': item['multi-choice options'][0][4:], 对于大部分选项是成立的(如"(A) 直走。")但是对于这部分内容的选项会缺少一个空格(如“(A)图像的右侧”),导致解析从第二个字符开始。 请检查该问题是由于我下载的原始数据集版本特殊还是一个共性问题。

yfzhang114 commented 1 month ago

是json文件的问题,json文件已经进行了更新,请下载最新的

https://huggingface.co/datasets/yifanzhang114/MME-RealWorld-Base64/blob/main/MME-RealWorld-CN/MME_RealWorld_CN_base64_0.json