8.6——使用m2scorer进行测试模型

li-aolong commented 5 years ago

使用seq2seq_attion模型在1347639个平行句子对上进行了训练，得到7.7MB大小的模型
带有金标准的测试集有2000条，使用该测试集进行模型性能测试
金标准数据集的格式为：
- ```
S <原始句子1>
A <开始位置> <结束位置>|||<错误类型>|||<纠正1>||<纠正2||..||纠正N|||<required>|||<评论>|||<注释者 id>
A <开始位置> <结束位置>|||<错误类型>|||<纠正1>||<纠正2||..||纠正N|||<required>|||<评论>|||<注释者 id>
```
- 每个源句应出现在以“S”开头的单行上
- 每个源句子后跟零个或多个注释
- 每个注释都在以“A”开头的单独行上
- 句子由一个或多个空行分隔
- 源语句需要以与系统输出相同的方式进行标记化

m2scorer

该程序可以评估语法错误纠正系统的性能，评价指标有三个：精度，召回率和F0.5值
首先使用infer.py文件对测试集原始文件test.txt进行纠正，得到系统纠正后文件test_system.txt
然后使用m2scorer.py文件，利用金标准进行计算：
- python m2scorer.py test_system.txt test_gold.txt

得到的结果为：

Precision   : 22.87
Recall      : 21.68
F_0.5       : 22.62

业界CGED纠错比赛结果如下：
- 可以看到该模型的精度偏低，但是召回率较高，F0.5值水平一般

ljggg commented 5 years ago

博主，请问如何使用m2scorer获得gold标准？

li-aolong commented 5 years ago

博主，请问如何使用m2scorer获得gold标准？

我也是在这看到的 https://github.com/swjtu-gec/zlyang-master-dissertation-code/tree/master/data/test/nlpcc2018-test

ljggg commented 5 years ago

博主，请问如何使用m2scorer获得gold标准？

我也是在这看到的 https://github.com/swjtu-gec/zlyang-master-dissertation-code/tree/master/data/test/nlpcc2018-test

我现在也有他这份gold.01，但是我想生成一份新的文本的gold标准，有点不太理解如何生成

li-aolong commented 5 years ago

博主，请问如何使用m2scorer获得gold标准？

我也是在这看到的 https://github.com/swjtu-gec/zlyang-master-dissertation-code/tree/master/data/test/nlpcc2018-test

我现在也有他这份gold.01，但是我想生成一份新的文本的gold标准，有点不太理解如何生成

生成我也不会

ljggg commented 5 years ago

博主，请问如何使用m2scorer获得gold标准？

我也是在这看到的 https://github.com/swjtu-gec/zlyang-master-dissertation-code/tree/master/data/test/nlpcc2018-test

我现在也有他这份gold.01，但是我想生成一份新的文本的gold标准，有点不太理解如何生成

生成我也不会

好滴，感谢楼主！我再研究一下

clearloveclearlove commented 3 years ago

博主请问纠正后的test_system.txt需要是分好词的吗，分词的标准是不是确定的，还有就是infer.py是不是已经自带分词后在生成txt文件

li-aolong commented 3 years ago

博主请问纠正后的test_system.txt需要是分好词的吗，分词的标准是不是确定的，还有就是infer.py是不是已经自带分词后在生成txt文件

好多我忘了，但是test_system.txt应该不是分好词的，是一个完整的句子，分词标准好像也不确定

li-aolong / li-aolong.github.io

8.6——使用m2scorer进行测试模型 #19

m2scorer