open-compass / VLMEvalKit

Open-source evaluation toolkit of large vision-language models (LVLMs), support 160+ VLMs, 50+ benchmarks
https://huggingface.co/spaces/opencompass/open_vlm_leaderboard
Apache License 2.0
1.34k stars 188 forks source link

在MCQ任务中,一道题目具有多张图片,我应该如何构建框架需要的tsv数据集? #499

Closed Nefefilibata closed 3 weeks ago

Nefefilibata commented 1 month ago

在MCQ任务中,一道题目具有多张图片,我应该如何构建框架需要的tsv数据集?

kennymckormick commented 1 month ago

Hi, @Nefefilibata , 你可以参照 BLINK 的数据文件,这个数据集中选择题包含多张图片。