Closed kacky24 closed 5 years ago
文修正（Grammatical Error Correction, GEC）のタスクにおいて、新しいfluency based boost learning, inference mechanismをseq2seqベースの手法に導入することで、人レベルに達した初のGECシステムの提案論文。
ニューラルネットのアプローチだと、GECはNMTを応用して、seq2seq + attention + beam searchが典型的なやり方。
ニューラルモデルの訓練には、大量のerror-corrected sentence pairが必要だが、用意するのは難しい。 よって、augmentationが有効。 ここで、fluencyは、言語モデルによって、以下のように計算されれ、０〜１をとる。
（言語モデルはcommon crawlで訓練された5-gram language model）
上図の(a) 通常は、エラー文→正解文だが、正解文→エラー文を生成するseq2seqモデルを用意する。 正解文→エラー文で、精度の高い候補上位n個を取ってきて、その中から、fluencyが正解文より一定割合以上下がったものを抜き出し、新たなerror-corrected sentence pairとする。
上図の(b) エラー文→正解文を生成するseq2seqモデルにおいて、精度の高い候補上位n個の中から、まだfluencyが正解文よえい一定割合以上低いものを抜き出し、新たなerror-corrected sentenhce pairとする。
上図の(c) back-boost, self-boost learningは、それぞれ違う観点からdisfluency candidatesを生成するので、両者を組み合わせることで、より多様なaugmentationを行う。
このfluency boost learningでは、エラー文とpairになっていない大量の正しい文を活用できる。
(C：(corrected, corrected), ...) 同じ正解文と正解文のペアとして、入れられる。
一文に複数のエラーがあるような場合などは特に、一回のseq2seqによる変換だけでは直しきれないといことが起きる。そのため、fluencyが改善されなくなるまで、複数回変換する。（nulti-round error correction)
multi-round error correctionの改善版：round-way error correction left-to-rightのseq2seqモデルとright-to-leftのモデルは、それぞれ違う強みを持つので、同じモデルで複数回変換するのではなく、これらを順番に適用する。（上図）
seq2seqのモデル：7-layer convolution seq2seq model (https://github.com/pytorch/fairseq) 前処理として、既存のソフトウェアでスペルミスは直している。
結果として、既存のシステムを上回り、人間のスコアと同等以上のスコアを残した、 （データは、既存研究より増やしているので、そもそも比較が同条件ではない？）
https://arxiv.org/abs/1807.01270
Tao Ge, Furu Wei, Ming Zhou Natural Language Computing Group, Microsoft Research Asia, Beijing, China {tage, fuwei, mingzhou}@microsoft.com
ACL 2018 "Fluency Boost Learning and Inference for Neural Grammatical Error Correction"に追加実験を加えたもの
short summary
文修正（Grammatical Error Correction, GEC）のタスクにおいて、新しいfluency based boost learning, inference mechanismをseq2seqベースの手法に導入することで、人レベルに達した初のGECシステムの提案論文。
ニューラルネットのアプローチだと、GECはNMTを応用して、seq2seq + attention + beam searchが典型的なやり方。
fluency boost learning
ニューラルモデルの訓練には、大量のerror-corrected sentence pairが必要だが、用意するのは難しい。 よって、augmentationが有効。 ここで、fluencyは、言語モデルによって、以下のように計算されれ、０〜１をとる。
（言語モデルはcommon crawlで訓練された5-gram language model）
back-boost learning
上図の(a) 通常は、エラー文→正解文だが、正解文→エラー文を生成するseq2seqモデルを用意する。 正解文→エラー文で、精度の高い候補上位n個を取ってきて、その中から、fluencyが正解文より一定割合以上下がったものを抜き出し、新たなerror-corrected sentence pairとする。
self-boost learning
上図の(b) エラー文→正解文を生成するseq2seqモデルにおいて、精度の高い候補上位n個の中から、まだfluencyが正解文よえい一定割合以上低いものを抜き出し、新たなerror-corrected sentenhce pairとする。
dual-boost learning
上図の(c) back-boost, self-boost learningは、それぞれ違う観点からdisfluency candidatesを生成するので、両者を組み合わせることで、より多様なaugmentationを行う。
adding large-scale native data
このfluency boost learningでは、エラー文とpairになっていない大量の正しい文を活用できる。
(C：(corrected, corrected), ...) 同じ正解文と正解文のペアとして、入れられる。
fluency boost inference
一文に複数のエラーがあるような場合などは特に、一回のseq2seqによる変換だけでは直しきれないといことが起きる。そのため、fluencyが改善されなくなるまで、複数回変換する。（nulti-round error correction)
multi-round error correctionの改善版：round-way error correction left-to-rightのseq2seqモデルとright-to-leftのモデルは、それぞれ違う強みを持つので、同じモデルで複数回変換するのではなく、これらを順番に適用する。（上図）
Experiment
seq2seqのモデル：7-layer convolution seq2seq model (https://github.com/pytorch/fairseq) 前処理として、既存のソフトウェアでスペルミスは直している。
結果として、既存のシステムを上回り、人間のスコアと同等以上のスコアを残した、 （データは、既存研究より増やしているので、そもそも比較が同条件ではない？）
URL
https://arxiv.org/abs/1807.01270
author
Tao Ge, Furu Wei, Ming Zhou Natural Language Computing Group, Microsoft Research Asia, Beijing, China {tage, fuwei, mingzhou}@microsoft.com
year
ACL 2018 "Fluency Boost Learning and Inference for Neural Grammatical Error Correction"に追加実験を加えたもの