配置数据集的vlmeval/utils/dataset_config.py文件不存在

open-compass / VLMEvalKit

Open-source evaluation toolkit of large vision-language models (LVLMs), support ~100 VLMs, 40+ benchmarks

Apache License 2.0

1.08k stars 154 forks source link

Closed scl-01 closed 1 month ago

scl-01 commented 1 month ago

设置在 VLMEvalKit 中支持的数据集名称（在 vlmeval/utils/dataset_config.py 中定义），这个文件没有在对应路径找到

FangXinyu-0913 commented 1 month ago

Hi @scl-01 由于先前对代码进行重构，这一文件目前已经不存在你可以在Readme中查看当前支持的数据集，并在 vlmeval/dataset 下搜索该数据集具体的名字

scl-01 commented 1 month ago

@FangXinyu-0913 怎么搜索具体名字呢，是以数据集名字命名的py文件吗

FangXinyu-0913 commented 1 month ago

我们现在把数据集分成了几个大类，放在几个不同的文件内（比如image_mcq代表多模态视觉领域下的多项选择题），你可以根据你想测评的数据集的类型进到对应文件内，查看里面类的DATASET_URL的key名字，即为具体名字

scl-01 commented 1 month ago

OK，看到了，感谢