search

CLUEbenchmark / CLUE

中文语言理解测评基准 Chinese Language Understanding Evaluation Benchmark: datasets, baselines, pre-trained models, corpus and leaderboard
http://www.CLUEbenchmarks.com
4.02k stars 540 forks source link

如何在没有测试集的情况下在文章中引用CLUE #117

Open sunyilgdx opened 3 years ago

sunyilgdx commented 3 years ago

老师您好，首先感谢您的工作，请教您以下问题： CLUE评测集没有公开测试集，而在论文中，通常需要将相关模型运行多次（例如5次、10次）并在验证集和测试集上得到相应的结果，但由于CLUE的官网有提交次数的限制（每天最多2次、每月最多10次提交），很难满足论文中多个模型和消融实验的对比，请问一下有没有好的办法？ 例如：假设有3个需要对比的模型，和3个消融实验，那么需要验证的模型约有5个，需要验证的结果为5乘以5或5乘以10

beyondguo commented 3 years ago

我觉得可以使用验证集作为本地的测试集，然后自己构造验证集，进行实验研究。如果方法真正有效的话，再丢到系统上进行测试，应该也是有效的。

brightmart commented 3 years ago

感觉靠谱啊。 @beyondguo