8.5——中文纠错数据集与训练

[li-aolong]

NLPCC 2018 GEC

• NLPCC 2018 GEC 训练集（http://tcci.ccf.org.cn/conference/2018/taskdata.php）来自于 NLPCC 2018 GEC 共享任务测评，官方数据的原始格式为：

  • （1）每行是对一个原始输入的校对，每行可能包含0个（即原始输入为正确句子）、1 个或多个平行句子对 （2）各行包括 4 个字段，各字段间用制表符（tab）分隔

• 样例：

  1   1   我在家里一个人学习中文。    我在家里自学中文。
  2   0   我是里阿德，来自以色列。
  1   3   这个软件让我们什么有趣的事都记录。   这个软件讓我们能把任何有趣的事都记录下來。   这个软件能让我们把有趣的事都记录下来。 这个软件能让我们把任何有趣的事都记录。
  1   1   两位易知基金代表访白目的为连接两国高等院校。  两位易知基金代表访白目的为开展两国高等院校的合作。

• 各字段含义：

字段序号	字段名	字段意义
1	sens_id	句子在短文中的索引，从 1 开始
2	num_correct	目标句子的个数
3	orig_sen	原始句子
4	corrections	若干目标句子（如果 num_correct  0）

lang8

• 目前中英文公开的最大规模平行校对语料（中文的 NLPCC 2018 GEC 数据集， 英文的 Lang-8 语料）都源自于 Lang-8 网站（https://lang-8.com/）
• Lang-8 是一个多 语言学习平台，由原生语言人士（native speakers）挑选学习者写的短文（作文）进行修 改
• 当前公开的较大规模平行语料都以类似众包的形式得到，数据质量并不高

汉语水平考试(HSK)

• HSK（汉语水平考试的拼音缩写）语料来自北京语言大学（BLCU）的“HSK动态作文语料库”
• “HSK动态作文语料库”是母语非汉语的外国人参加高等汉语水平考试作文考试的答卷语料库，收集了 1992-2005 年的部分外国考生的作文答卷。语料库 1.0 版收入语料 10740 篇，约 400 万字
• 本次使用的 HSK 平行数据来自 NLPCC 2018 GEC 共享任务 BLCU 团队 github 上开源的项目（https://github.com/blcu-nlp/NLPCC_2018_TASK2_GEC），该平行语料质量较高，且已经预处理完毕，共计有 156870 个平行句子对

seq2seq_attention模型

• 将以上的数据集进行混合并进行处理，得到了训练集共1347639个平行句子对，测试集5017对
• 将最终的混合数据集输入到开源项目pycorrector的seq2seq_attention模型中进行训练
• 共跑40个epoch，1个epoch大约需要25分钟，目前还在跑

维基百科中文语料

• 可以从维基 dump 网站（https://dumps.wikimedia.org）下载 XML 格式的中文维基百科语料（https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2），得到1.65G的压缩包
• XML 文件中的 text 标签内部即为文章内容，由于维基百科语料属于网络文本，需要对其进行必要的处理与清洗
• 该语料可供后续使用