modelscope / evalscope

A streamlined and customizable framework for efficient large model evaluation and performance benchmarking
https://evalscope.readthedocs.io/en/latest/
Apache License 2.0
227 stars 30 forks source link

自定义vlm数据集,build_prompt(self, line) 没有执行 #130

Closed jackqdldd closed 1 month ago

jackqdldd commented 1 month ago

按照文档准备了自定义数据集,执行后发现prediction是英文,明明build_prompt方法里:用简短的一个单词问答问题 是中文,测试集的question也是中文,答案怎么是英文? 加了日志信息,发现build_prompt方法没有执行 image

Yunnglin commented 1 month ago

经过测试是可以执行的

image

请问代码是在evalscope/backend/vlm_eval_kit/custom_dataset.py 基础上修改的吗? 有没有添加如下代码

# override the default dataset class
CustomVQADataset.load_data = CustomDataset.load_data
CustomVQADataset.build_prompt = CustomDataset.build_prompt
CustomVQADataset.evaluate = CustomDataset.evaluate

并在评测前导入该数据集

# 导入自定义数据集
from custom_dataset import CustomDataset
jackqdldd commented 1 month ago

是的,就build_prompt 没有执行 image

Yunnglin commented 1 month ago

请清空outputs文件夹下的预测结果重新运行脚步。

之前的预测结果不会自动清除,若存在该结果会跳过预测这一阶段,直接进行评测

jackqdldd commented 1 month ago

清空后可以了,谢谢