关于results of ablation study

[AnWang-AI]

您好，非常感谢您非常优秀的工作成果，让我重新认识了relation识别对entity识别有帮助的可能。在阅读paper时，有一些疑问，希望能够得到解答。

1. 文章中说到在SciERC上进行了ablation study实验，但是不同ablation的结果都很相近，请问下您的结果是单轮的训练结果吗？我运行了您的代码，发现SciERC上的结果非常不稳定，在不同random seed上结果变化较大，您是否能够给出显著性的值呢？或者在其他数据集上ablation study的结果和SciERC数据集上结论相同吗？
2. ablation study实验结果中只显示了relation extraction的结果，请问不同方式对entity extraction结果有怎样的影响呢？是否有导致relation extraction结果高但是entity extraction结果低的情况呢？
3. 您使用了partition操作但是并没有验证这个操作的效果，请问在使用filter操作的情况下，使用partition操作和其他方式的实验结果区别是怎样的呢？ 非常感谢！

[Coopercoppers]

您好，我来回答一下您的问题

1. 是单轮的训练结果。全部实验都是random seed = 0，因为encoding scheme比较重要，所以我在webnlg上也是做过测试的，sequential和parallel大概比joint低个0.5-1.5点左右。SciERC结果不稳定，想能问下浮动能大到多少呢？浮动大的原因可能是超参没有怎么调，可以试试一些稳定训练的trick，比如说warmup等。
2. entity extraction确实会出现您说的这种情况，这部分可能是RE部分没有cover实体尾部的结果，可以试试PFN-nested。
3. 这个没有做过。因为没有partition，也就得不到三个分区了，这样的话也就不知道是对哪个部分进行filter了。

[AnWang-AI]

1. 我使用了您的代码，重新运行了在seed = [0,1,2,3,4]的情况。NER的结果在65.67-68.59，RE的结果在36.23到37.86。方差还是比较大的。
2. 如果方便的话，请问您是否可以在ablation study添加上entity extraction的结果呢？看到您的代码是同时输出NER和RE两个结果的。

非常感谢您的回答。希望您科研顺利。

[Coopercoppers]

RE结果和我这差的有点多。我跑了下1,2,3,4的seed，NER的结果是66.9, 66.4, 68.0, 67.7， RE的结果是36.9, 36.3, 38.9, 37.7。我在readme上更新了cuda版本要求，貌似这个也是会有影响的。

ablation我这里只存了sequential和parallel，sequential是68.7, parallel是67.0，scierc上确实波动很大，这部分我觉得可能是因为训练数据集本身的原因导致的。webnlg上NER sequential和parallel比joint差个0.3-0.5左右。

由于论文是最终稿，emnlp不让改了，所以可能没法添加结果。希望上边几个数值对您有用。

[AnWang-AI]

好的，谢谢您的回复。论文中的内容虽然无法额外变动，但是希望能够在github项目的readme上更新实验结果。同时建议您的ablation study能够在5-10个random seed上取NER和RE的平均结果和方差。单次的RE结果恐怕不能够使得您论文中ablation study的结论令人信服。

[Coopercoppers]

嗯，谢谢您的建议，ablation的多次结果之后会考虑加上的。