在benchmark进行测试的时候是否需要加instruction？

[YCaigogogo]

您好，感谢你们优秀的工作，关于benchmark的测试以及模型的使用我有三个问题：

1. benchmark测试时候的query是否都需要加instruction，我看到代码中只在lrlm，msc, retrieval的eval程序中添加了instruction，而tool等其他任务上并没有增加，请问这是为什么呢？
2. 如果我想要做一个在训练数据没有的新任务类型，请问我是否可以自行设计instruction，是否有相关的泛化性实验分析以及结果呢？

[namespace-Pt]

Hi，谢谢你的关注，

1. 我们所有测试都加了instruction。tool、convsearch、mmlu、popqa均直接调用了eval_retrieval.py, 其默认会在prepare_eval_dataset和prepare_corpus中加入instruction。

2. 可以；但我们没有相关的实验和分析。如果你做了类似的实验，方便的话可以将效果评论在这个thread下。