关于试验集的疑问

ymcui / cmrc2018

A Span-Extraction Dataset for Chinese Machine Reading Comprehension (CMRC 2018)

https://ymcui.github.io/cmrc2018/

Creative Commons Attribution Share Alike 4.0 International

411 stars 87 forks source link

Closed zhezhaoa closed 5 years ago

zhezhaoa commented 5 years ago

您好：网站 https://hfl-rc.github.io/cmrc2018/task/ 中提到的试验集（问题数1,002），和论文 https://arxiv.org/pdf/1906.08101.pdf 中CMRC的Challenge集是一样的么？为何EM/F1非常低，只有20/40左右？以及现在test集是否可以提供呢？

ymcui commented 5 years ago

试验集（trial）和挑战集（challenge）不是一个集合
测试集和挑战集暂不对外开放，如需获得结果请按照提交要求提交模型。https://worksheets.codalab.org/worksheets/0x96f61ee5e9914aee8b54bd11e66ec647/

ymcui commented 5 years ago