xlxwalex / FCGEC

The Corpus & Code for EMNLP 2022 paper "FCGEC: Fine-Grained Corpus for Chinese Grammatical Error Correction" | FCGEC中文语法纠错语料及STG模型
https://aclanthology.org/2022.findings-emnlp.137
Apache License 2.0
104 stars 12 forks source link

关于目前学术界公开论文的在本数据集上的SOTA结果 #32

Closed Kausal-Lei closed 7 months ago

Kausal-Lei commented 7 months ago

作者您好,我觉得您的数据集非常棒,想在上面做一些相关工作,请问目前这个数据集上学术界的SOTA还是您这篇论文的方法么,我通过被引找了下好像还没有找到其他的更好的方法,想和您确认下,蟹蟹。

xlxwalex commented 7 months ago

你好,

感谢关注我们的工作!我之前看到有一篇论文"Evaluating the Capability of Large-scale Language Models on Chinese Grammatical Error Correction Task" 中提到的SOTA是P/R/F_05分别为57.00, 34.89和50.59,这可能是有论文的里面汇报的最高情况。但是在我们的Leaderboard中也有很多记录超过了这个性能,不过我暂时没看到对应论文的出现,不知道具体是什么方法。

所以我们论文中的结果并不是最新的SOTA了,不过很多SOTA没有放出细节。你可以尝试联系一下上面这篇论文的作者看看他们对于目前的SOTA有没有相关建议试试,如果还有问题,欢迎回复!

Kausal-Lei commented 7 months ago

好的,蟹蟹您,我也看到了那篇工作,但是那篇工作用的是验证集的结果。蟹蟹您