search

ymcui / cmrc2018

A Span-Extraction Dataset for Chinese Machine Reading Comprehension (CMRC 2018)
https://ymcui.github.io/cmrc2018/
Creative Commons Attribution Share Alike 4.0 International
411 stars 87 forks source link

CMRC 2018公开数据集, 开发集和测试集 #6

Closed zhanggaosheng closed 4 years ago

zhanggaosheng commented 4 years ago

CMRC 2018公开数据集（训练集，开发集），分别对应数据集的那些文件 网络有测试指标分别为开发集和测试集，数据集的文件为cmrc2018_dev.json，cmrc2018_trial.json，对应关系是啥？ 麻烦指导下。

cmrc2018_train.json是训练集，比较容易识别。

ymcui commented 4 years ago

训练集就是训练集（cmrc2018_train.json），开发集就是开发集（cmrc2018_dev.json）。 测试集（cmrc2018_test.json）由我们保留，如果需要进行效果评测，需要提交你的系统。 具体方法参考：https://worksheets.codalab.org/worksheets/0x96f61ee5e9914aee8b54bd11e66ec647/

至于cmrc2018_trial.json集合为试验集，与训练/开发/测试无关。

ymcui commented 4 years ago

如有其他问题可随时reopen。