Closed ManiiXu closed 1 month ago
使用工具进行MME-RealWorld-CN评测后,发现结果xlsx中部分题目的选项内容存在错误: 如index=4820-5616,每个选项都少了第一个字符,排查发现选项内容是这样提取的:'A': item['multi-choice options'][0][4:], 对于大部分选项是成立的(如"(A) 直走。")但是对于这部分内容的选项会缺少一个空格(如“(A)图像的右侧”),导致解析从第二个字符开始。 请检查该问题是由于我下载的原始数据集版本特殊还是一个共性问题。
是json文件的问题,json文件已经进行了更新,请下载最新的
https://huggingface.co/datasets/yifanzhang114/MME-RealWorld-Base64/blob/main/MME-RealWorld-CN/MME_RealWorld_CN_base64_0.json
使用工具进行MME-RealWorld-CN评测后,发现结果xlsx中部分题目的选项内容存在错误: 如index=4820-5616,每个选项都少了第一个字符,排查发现选项内容是这样提取的:'A': item['multi-choice options'][0][4:], 对于大部分选项是成立的(如"(A) 直走。")但是对于这部分内容的选项会缺少一个空格(如“(A)图像的右侧”),导致解析从第二个字符开始。 请检查该问题是由于我下载的原始数据集版本特殊还是一个共性问题。