search

liushulinle / PLOME

Source code for the paper "PLOME: Pre-training with Misspelled Knowledge for Chinese Spelling Correction" in ACL2021
Apache License 2.0
230 stars 31 forks source link

确认评测脚本与数据 #6

Closed li-aolong closed 2 years ago

li-aolong commented 3 years ago

你好，想确认下论文中的结果是使用的SpellGCN的评测脚本和1100条的数据么，因为我见提供的数据链接里是550条的数据，代码里的评测方式不是SpellGCN的。

liushulinle commented 3 years ago

1100条和550条评测结果论文里都有（Table2: 550条，Table3 1100条）

li-aolong commented 3 years ago

1100条和550条评测结果论文里都有（Table2: 550条，Table3 1100条）

哦哦这应该说的是character level吧，sentenc level都是1100条

li-aolong commented 3 years ago

@liushulinle 还有想问下是否可以用开源代码里的评测脚本来与文章的结果进行对比

liushulinle commented 2 years ago

错别字的评测方法比较复杂，不同的工作不一样，为了和前人工作对比，因此我们的论文中使用了三种评测方式。最好用我们项目中的评测代码来评测，因为前人的评测脚本都有两三种不同的。 主结果表中，character 结果是在550条数据评测（纯正例句子），sentence结果是在1100条数据评测。
https://github.com/liushulinle/CRACSpell/tree/main/datas/sighan 评测集在这里可以下载