search

ACL2020SpellGCN / SpellGCN

SpellGCN
https://arxiv.org/abs/2004.14166
241 stars 63 forks source link

BERT baseline方法疑问 #8

Open yueg opened 4 years ago

yueg commented 4 years ago

BERT baseline是在最后一层输出直接加一个线性变换吗？ 还是使用GCN的方法类似，使用embedding table进行点乘？

谢谢解答。

zhiyumeng commented 4 years ago

我看了论文，复现了[使用embedding table进行点乘]的方式，效果和论文中报告的差不多

zhiyumeng commented 4 years ago

最后一层输出直接加一个线性变换的效果就不太好

Jason3900 commented 4 years ago

@zhiyumeng 您好，想问一下，用作者提供的代码，加上Wang et al. 2018的伪数据，可以直接复现paper中的结果么？我这边跑出来的结果比paper中BERT的结果还要差一些……

zhiyumeng commented 4 years ago

@Jason3900 用spell gcn作者提供的大小为281k的数据训练才行

Jason3900 commented 4 years ago

@zhiyumeng 感谢解答！ 我用了那个数据，但是效果确实比之前的方法好，但是比作者paper中提到的BERT的baseline要差，所以……想问的是，作者提供的代码需要改动么？还是说需要像作者说的那样，跑四次，然后取平均才能达到类似的效果？

zhiyumeng commented 4 years ago

BERT baseline是在最后一层输出直接加一个线性变换吗？ 还是使用GCN的方法类似，使用embedding table进行点乘？

谢谢解答。

不知道作者是怎么做的，我是动态使用embedding table进行点乘

zhiyumeng commented 4 years ago

@zhiyumeng 感谢解答！ 我用了那个数据，但是效果确实比之前的方法好，但是比作者paper中提到的BERT的baseline要差，所以……想问的是，作者提供的代码需要改动么？还是说需要像作者说的那样，跑四次，然后取平均才能达到类似的效果？

主要看sighan15的结果吧，我感觉和论文中差距不大，虽然数据集很好

zhiyumeng commented 4 years ago

@zhiyumeng 感谢解答！ 我用了那个数据，但是效果确实比之前的方法好，但是比作者paper中提到的BERT的baseline要差，所以……想问的是，作者提供的代码需要改动么？还是说需要像作者说的那样，跑四次，然后取平均才能达到类似的效果？

主要看sighan15的结果吧，我感觉和论文中差距不大，虽然数据集很好

基本上是稳定出结果的，sighan15。

Sh1k17 commented 4 years ago

@zhiyumeng 您好，想问一下，用作者提供的代码，加上Wang et al. 2018的伪数据，可以直接复现paper中的结果么？我这边跑出来的结果比paper中BERT的结果还要差一些……

@Jason3900 用spell gcn作者提供的大小为281k的数据训练才行

您好，这个git里面好像没有提供完整的数据训练集是么，请问您是怎么处理的，如果方便的话，可以分享一下完整的训练集么

Sh1k17 commented 4 years ago

@zhiyumeng 感谢解答！ 我用了那个数据，但是效果确实比之前的方法好，但是比作者paper中提到的BERT的baseline要差，所以……想问的是，作者提供的代码需要改动么？还是说需要像作者说的那样，跑四次，然后取平均才能达到类似的效果？

您好，这个git里面好像没有提供完整的数据训练集是么，请问您是怎么处理的，如果方便的话，可以分享一下完整的训练集么

zhiyumeng commented 4 years ago

@zhiyumeng 感谢解答！ 我用了那个数据，但是效果确实比之前的方法好，但是比作者paper中提到的BERT的baseline要差，所以……想问的是，作者提供的代码需要改动么？还是说需要像作者说的那样，跑四次，然后取平均才能达到类似的效果？

您好，这个git里面好像没有提供完整的数据训练集是么，请问您是怎么处理的，如果方便的话，可以分享一下完整的训练集么

根据作者引用的文章去下载就行了

Sh1k17 commented 4 years ago

@zhiyumeng 感谢解答！ 我用了那个数据，但是效果确实比之前的方法好，但是比作者paper中提到的BERT的baseline要差，所以……想问的是，作者提供的代码需要改动么？还是说需要像作者说的那样，跑四次，然后取平均才能达到类似的效果？

您好，这个git里面好像没有提供完整的数据训练集是么，请问您是怎么处理的，如果方便的话，可以分享一下完整的训练集么

根据作者引用的文章去下载就行了

您好，现在我这边的实验复现结果和论文有点出入，有些相关的问题可以请教一下么，我给您发了邮件。

bxx1024 commented 4 years ago

我复现的BERT和论文中也有差距，你们最后解决这个问题了吗@Sh1k17@zhiyumeng

zhiyumeng commented 4 years ago

在token detection level，我复现的结果有差距。在13数据集上，单独在13上fintune可以提升效果。

发件人: Xuxiao Bu notifications@github.com 发送时间: 2020年10月14日 19:06 收件人: ACL2020SpellGCN/SpellGCN SpellGCN@noreply.github.com 抄送: fyyc zhiyumengxiang@outlook.com; Mention mention@noreply.github.com 主题: Re: [ACL2020SpellGCN/SpellGCN] BERT baseline方法疑问 (#8)

我复现的BERT与论文中也有出入，能共享吗

― You are receiving this because you were mentioned. Reply to this email directly, view it on GitHubhttps://github.com/ACL2020SpellGCN/SpellGCN/issues/8#issuecomment-708847850, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AFRSKHLKDSLIZ744U277ONDSKZKKPANCNFSM4ONFFRHQ.

bxx1024 commented 4 years ago

@zhiyumeng 我只实验了character-level correction的结果，Recall和论文中差不多，但是Precision差的很多

zhiyumeng commented 4 years ago

我的结果是，句子级别分数基本一致，13数据集单独fintune后会有分数提高。Token级别的Precision确实差很多。

发送自 Windows 10 版邮件https://go.microsoft.com/fwlink/?LinkId=550986应用

发件人: Xuxiao Bu notifications@github.com 发送时间: Tuesday, October 20, 2020 11:22:31 AM 收件人: ACL2020SpellGCN/SpellGCN SpellGCN@noreply.github.com 抄送: fyyc zhiyumengxiang@outlook.com; Mention mention@noreply.github.com 主题: Re: [ACL2020SpellGCN/SpellGCN] BERT baseline方法疑问 (#8)

@zhiyumenghttps://github.com/zhiyumeng 我只实验了character-level correction的结果，Recall和论文中差不多，但是Precision差的很多

― You are receiving this because you were mentioned. Reply to this email directly, view it on GitHubhttps://github.com/ACL2020SpellGCN/SpellGCN/issues/8#issuecomment-712563388, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AFRSKHONUT62WYDOYNBSS4LSLT67PANCNFSM4ONFFRHQ.

bxx1024 commented 4 years ago

我后来发现论文中token级别的是用带错误的句子测试的，这样测和论文中结果差不多

zhanqiuzhang commented 4 years ago

@bxx1024 您好，请问是直接用 271k 数据集跑作者提供的代码就可以达到和论文中差不多的结果吗？我这边把 batch size 减小一半在 13 和 15 数据集上 F1 都只有 0.6 左右

bxx1024 commented 4 years ago

@zhanqiuzhang， 271k 和sighan训练数据一起跑可以达到论文中的效果，我在15年的测试数据上，correction-level和character-level的结果是'P':'93.33%','R':'82.60%','F1':'87.64%'

zhiyumeng commented 3 years ago

感谢，原来如此。

发送自 Windows 10 版邮件https://go.microsoft.com/fwlink/?LinkId=550986应用

发件人: Xuxiao Bumailto:notifications@github.com 发送时间: 2020年10月24日 19:55 收件人: ACL2020SpellGCN/SpellGCNmailto:SpellGCN@noreply.github.com 抄送: fyycmailto:zhiyumengxiang@outlook.com; Mentionmailto:mention@noreply.github.com 主题: Re: [ACL2020SpellGCN/SpellGCN] BERT baseline方法疑问 (#8)

我后来发现论文中token级别的是用带错误的句子测试的，这样测和论文中结果差不多------------------ 原始邮件 ------------------ 发件人: "fyyc"<notifications@github.com> 发送时间: 2020年10月23日(星期五) 晚上9:13 收件人: "ACL2020SpellGCN/SpellGCN"<SpellGCN@noreply.github.com>; 抄送: "Xuxiao Bu"<605226082@qq.com>;"Comment"<comment@noreply.github.com>; 主题: Re: [ACL2020SpellGCN/SpellGCN] BERT baseline方法疑问 (#8)

― You are receiving this because you were mentioned. Reply to this email directly, view it on GitHubhttps://github.com/ACL2020SpellGCN/SpellGCN/issues/8#issuecomment-715904344, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AFRSKHITUBM6WDM5P7PVQ7TSMK6DNANCNFSM4ONFFRHQ.

zhanqiuzhang commented 3 years ago

@zhanqiuzhang， 271k 和sighan训练数据一起跑可以达到论文中的效果，我在15年的测试数据上，correction-level和character-level的结果是'P':'93.33%','R':'82.60%','F1':'87.64%'

你好，请问这个结果是用这个 repo 的默认参数跑的吗？我把 batch size 减半为16之后在 sentence level，SIGHAN15上的测试结果大概比原论文低5个点左右。

Aloha0424 commented 3 years ago

在token detection level，我复现的结果有差距。在13数据集上，单独在13上fintune可以提升效果。 … ____ 发件人: Xuxiao Bu notifications@github.com 发送时间: 2020年10月14日 19:06 收件人: ACL2020SpellGCN/SpellGCN SpellGCN@noreply.github.com 抄送: fyyc zhiyumengxiang@outlook.com; Mention mention@noreply.github.com 主题: Re: [ACL2020SpellGCN/SpellGCN] BERT baseline方法疑问 (#8) 我复现的BERT与论文中也有出入，能共享吗 ― You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub<#8 (comment)>, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AFRSKHLKDSLIZ744U277ONDSKZKKPANCNFSM4ONFFRHQ.

能否告诉下，在13数据集上如何finetune的？不会用13的测试集吧？

YsylviaUC commented 3 years ago

我的baseline在sentence level F1差了大概2个点😵

zhiyumeng commented 3 years ago

我现在认为数据集起到了很大的作用，你可以好好调下参，就用bert-base就可以调上来。

从 Windows 版邮件https://go.microsoft.com/fwlink/?LinkId=550986发送

发件人: @.> 发送时间: 2021年10月21日 15:25 收件人: @.> 抄送: @.>; @.> 主题: Re: [ACL2020SpellGCN/SpellGCN] BERT baseline方法疑问 (#8)

我的baseline在sentence level F1差了大概2个点😵

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHubhttps://github.com/ACL2020SpellGCN/SpellGCN/issues/8#issuecomment-948332167, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AFRSKHORMCPS5JKS6P5HKRTUH657BANCNFSM4ONFFRHQ. Triage notifications on the go with GitHub Mobile for iOShttps://apps.apple.com/app/apple-store/id1477376905?ct=notification-email&mt=8&pt=524675 or Androidhttps://play.google.com/store/apps/details?id=com.github.android&referrer=utm_campaign%3Dnotification-email%26utm_medium%3Demail%26utm_source%3Dgithub.

YsylviaUC commented 3 years ago

sighan15上模型调到correction f1大概还差一个百分点，sighan14数据集结果差不多，但是sighan13数据集差大概三个百分点......😢

YsylviaUC commented 3 years ago

sighan15上模型调到correction f1大概还差一个百分点，sighan14数据集结果差不多，但是sighan13数据集差大概三个百分点......😢

sighan15上模型调到correction f1大概还差一个百分点，sighan14数据集结果差不多，但是sighan13数据集差大概三个百分点......😢

另外，token level的结果差距还挺大

YsylviaUC commented 3 years ago

分析了一下错误案例，发现数据集有些标记错误，需要修正吗？

hhhmmmzzz commented 2 years ago

sighan15上模型调到correction f1大概还差一个百分点，sighan14数据集结果差不多，但是sighan13数据集差大概三个百分点......😢

你好，我复现出来recall在每个数据集上都低十几个百分点，想问下你的参数是按照源码的参数嘛，还有你的数据是27.1k数据改了格式直接加到原来的TrainingTruthAll.txt和TrainingInputAll.txt嘛，谢谢啦

hhhmmmzzz commented 2 years ago

分析了一下错误案例，发现数据集有些标记错误，需要修正吗？

我也是发现原来给的测试集有的字没错但也改正了，可能影响了一些召回率吧

YsylviaUC commented 2 years ago

我用了27.1k的数据，没有改数据格式，低十几个百分点我估计是数据集的原因，在没有用大数据集的情况下我也是低十几个百分点。

在 2021-11-11 20:56:02，"hhhmmmzzz" @.***> 写道：

sighan15上模型调到correction f1大概还差一个百分点，sighan14数据集结果差不多，但是sighan13数据集差大概三个百分点......

你好，我复现出来recall在每个数据集上都低十几个百分点，想问下你的参数是按照源码的参数嘛，还有你的数据是27.1k数据改了格式直接加到原来的TrainingTruthAll.txt和TrainingInputAll.txt嘛，谢谢啦

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

YsylviaUC commented 2 years ago

我想了一下，可能是为了和之前的而实验进行公平比较所以没有对数据进行处理

在 2021-11-11 20:58:49，"hhhmmmzzz" @.***> 写道：

分析了一下错误案例，发现数据集有些标记错误，需要修正吗？

我也是发现原来给的测试集有的字没错但也改正了，可能影响了一些召回率吧

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

hhhmmmzzz commented 2 years ago

我用了27.1k的数据，没有改数据格式，低十几个百分点我估计是数据集的原因，在没有用大数据集的情况下我也是低十几个百分点。 在 2021-11-11 20:56:02，"hhhmmmzzz" @.***> 写道： sighan15上模型调到correction f1大概还差一个百分点，sighan14数据集结果差不多，但是sighan13数据集差大概三个百分点...... 你好，我复现出来recall在每个数据集上都低十几个百分点，想问下你的参数是按照源码的参数嘛，还有你的数据是27.1k数据改了格式直接加到原来的TrainingTruthAll.txt和TrainingInputAll.txt嘛，谢谢啦 — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

那就是还想问下27.1k数据集你用的是model\data\sighan里面的train.sgml还是model\data\train里面的train.sgml呀，我感觉这两个数据集还是有一些标点符号之类的不太一样，非常感谢啦

YsylviaUC commented 2 years ago

我用的不是这里的数据，用的是HeadFilt那篇论文开源的数据

在 2021-11-12 22:40:58，"hhhmmmzzz" @.***> 写道：

我用了27.1k的数据，没有改数据格式，低十几个百分点我估计是数据集的原因，在没有用大数据集的情况下我也是低十几个百分点。 在 2021-11-11 20:56:02，"hhhmmmzzz" @.***> 写道： sighan15上模型调到correction f1大概还差一个百分点，sighan14数据集结果差不多，但是sighan13数据集差大概三个百分点...... 你好，我复现出来recall在每个数据集上都低十几个百分点，想问下你的参数是按照源码的参数嘛，还有你的数据是27.1k数据改了格式直接加到原来的TrainingTruthAll.txt和TrainingInputAll.txt嘛，谢谢啦 — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

那就是还想问下27.1k数据集你用的是model\data\sighan里面的train.sgml还是model\data\train里面的train.sgml呀，我感觉这两个数据集还是有一些标点符号之类的不太一样，非常感谢啦

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.