CLUEbenchmark / SuperCLUE

SuperCLUE: 中文通用大模型综合性基准 | A Benchmark for Foundation Models in Chinese
https://www.superclueai.com
3.02k stars 97 forks source link

关于prompt设计的问题 #25

Open lrs1353281004 opened 1 year ago

lrs1353281004 commented 1 year ago

您好,现在项目中发布的榜单既有基础的预训练模型也有指令交互模型,请问我们的评测prompt会针对这两类模型设定两套模板吗?如果只有一套模板的话,如何保证两类模型都能按预期输出答案呢?~我的理解:预训练模型一般需要in context learning的方法,基于示例引导输出,而指令微调模型可以直接用问题指令来提出要求。

brightmart commented 1 year ago

Hi,只有一个统一的prompt。预训练模型具有续写功能,也可以完成任务。