你好，我看论文里说测试集有4.9K条问题，为什么下载的测试集只有1k多条问题呢

[805934132]

你好，我看论文里说测试集有4.9K条问题，为什么下载的测试集只有1k多条问题呢

[ymcui]

你是从哪儿下的？CLUE？ 除了给CLUE授权的数据之外，完整的测试集是不对外公开的，如需获得测试集结果需要提交代码。

[ymcui]

https://github.com/ymcui/cmrc2018/blob/master/README_CN.md#提交方法

[805934132]

1.你的github 里有个 squad-style-data ，这里面有个cmrc2018_trial.json, 这个是测试集文件吧，只有1k多条。 2.clue也有个cmrc数据集下载，里面有个test.json ,这个文件里 没有答案， 如下格式， 这个文件由于没有正确答案，没法算准确率。 "qas": [ { "question": "罗亚尔港号是什么级别的导弹巡洋舰？", "id": "TEST_0_QUERY_0", "answers": [ { "text": "FAKE_ANSWER_1", "answer_start": -1 }, { "text": "FAKE_ANSWER_2", "answer_start": -1 }, { "text": "FAKE_ANSWER_3", "answer_start": -1 } ] }

[ymcui]

1、trial = 试验，不是翻译成测试 2、clue的也是不提供标签的，你要去clue网站提交结果，而不是线下自己测。