Open yangkexin opened 1 year ago
1.请问一下是用agi-eval的官方脚本评测的吗,我看到官方是提供了每个任务的各五条样例用作few-shot测试,这里测试时候是没有使用这个吗(我看到写的是随机划分,是怎么操作的)? 2.还有只关注四选一意思是:虽然有些是单项选择题但是超过四个选项了(比如其中有ABCDEF)的也过滤了吗?
还有一个问题是,过滤后的总评测条数是多少?能开源一下这个子集吗
Required prerequisites
Questions
1.请问一下是用agi-eval的官方脚本评测的吗,我看到官方是提供了每个任务的各五条样例用作few-shot测试,这里测试时候是没有使用这个吗(我看到写的是随机划分,是怎么操作的)? 2.还有只关注四选一意思是:虽然有些是单项选择题但是超过四个选项了(比如其中有ABCDEF)的也过滤了吗?
Checklist