infor_vqa，doc_vqa数据集在计算指标时出现没有answer的情况

modelscope / evalscope

A streamlined and customizable framework for efficient large model evaluation and performance benchmarking

https://evalscope.readthedocs.io/en/latest/

Apache License 2.0

227 stars 30 forks source link

Closed stay-leave closed 3 months ago

stay-leave commented 3 months ago

截屏2024-08-06 18 37 27

示例中的chartqa是可以的，但是上面这俩不行

Yunnglin commented 3 months ago

评测模型是哪个呢，没有answer是模型没有prediction吗，还是说有prediction无法计算指标

Yunnglin commented 3 months ago

使用 InfoVQA_VAL，DocVQA_VAL 数据集评测，不要使用 InfoVQA_TEST，DocVQA_TEST 这两个test集没有提供 answer