Closed jackqdldd closed 1 month ago
经过测试是可以执行的
请问代码是在evalscope/backend/vlm_eval_kit/custom_dataset.py
基础上修改的吗?
有没有添加如下代码
# override the default dataset class
CustomVQADataset.load_data = CustomDataset.load_data
CustomVQADataset.build_prompt = CustomDataset.build_prompt
CustomVQADataset.evaluate = CustomDataset.evaluate
并在评测前导入该数据集
# 导入自定义数据集
from custom_dataset import CustomDataset
是的,就build_prompt 没有执行
请清空outputs文件夹下的预测结果重新运行脚步。
之前的预测结果不会自动清除,若存在该结果会跳过预测这一阶段,直接进行评测
清空后可以了,谢谢
按照文档准备了自定义数据集,执行后发现prediction是英文,明明build_prompt方法里:用简短的一个单词问答问题 是中文,测试集的question也是中文,答案怎么是英文? 加了日志信息,发现build_prompt方法没有执行