Open ymym3412 opened 5 years ago
Inherent Biases in Reference-based Evaluation for Grammatical Error Correction and Text Simplification Leshem Choshen1 and Omri Abend2
Grammatical Error Correction(GEC)などの評価で現れるlow coverage bias(LCB)の研究
LCBについてサンプル数を増やすといった形では改善しないことを明らかにした
GECやText Simplification(TS)では参照データをもとにモデルを評価するが、参照データの数が少ないがためにLCBが発生しモデルを過少評価してしまう課題があった。 このLCBについて調査を行い、参照データの評価者の評価点をリスケールしたり参照データ数を増やすことでは改善しないことを明らかにした。
GECのタスクをつったLCBについて実験を実施した。
特になし
How Far are We from Fully Automatic High Quality Grammatical Error Correction? Christopher Bryant, Hwee Tou Ng
0. 論文
Inherent Biases in Reference-based Evaluation for Grammatical Error Correction and Text Simplification Leshem Choshen1 and Omri Abend2
1. どんなもの？
Grammatical Error Correction(GEC)などの評価で現れるlow coverage bias(LCB)の研究
2. 先行研究と比べてどこがすごい？
LCBについてサンプル数を増やすといった形では改善しないことを明らかにした
3. 技術や手法のキモはどこ？
GECやText Simplification(TS)では参照データをもとにモデルを評価するが、参照データの数が少ないがためにLCBが発生しモデルを過少評価してしまう課題があった。 このLCBについて調査を行い、参照データの評価者の評価点をリスケールしたり参照データ数を増やすことでは改善しないことを明らかにした。
4. どうやって有効だと検証した？
GECのタスクをつったLCBについて実験を実施した。
5. 議論はある？
特になし
6. 次に読むべき論文は？
How Far are We from Fully Automatic High Quality Grammatical Error Correction? Christopher Bryant, Hwee Tou Ng