关于Extension on Ablation Study

[AnWang-AI]

您好，感谢您额外展示出encoding scheme相关的NER结果。 基于您展示的结果，我观察到在NER的结果上Sequential >>Parallel > original。 如果original model是您文中提出的PFN模型的话，这是否说明PFN的编码方式损害了NER的性能。因为Sequential方式是只将entity信息送给Relation model而不将relation信息送入entity model，而Sequential的NER结果远好于original model。甚至Parallel 也是略好于original的。 但是您文中的核心论点是与以前的related work结论相反, 您证明了re是对ner有利的，这也是最吸引我的一个观点。 所以我想问一下，这个Extension on Ablation Study的实验结果和您的结论是否矛盾？希望能够得到您的解答。

[Coopercoppers]

这只能说明NER部分还有改进的空间，比如PFN-nested就考虑到了tail信息。RE对NER有益的那两个实验并不会因为这个结果没那么好而变得不可靠。 我从鲁棒性上举一个例子：比如说washington is the capital of USA. 这里washington他是在(washington, capital, USA)这个三元组里的，capital的两个实体肯定是location类型的，因此用到了RE信息的模型就不会有歧义。 相反，如果washington在一个句子里他是孤立的，那对于模型来说判断它究竟是人名还是地名会更加困难一点，因此RE能帮助到NER做实体分类是一种很符合常理的认识。

[AnWang-AI]

感谢您的回答。但我认为这个例子是不合理的。因为entity识别模型输入的是整个句子，它并不仅利用了单个词的信息，也利用了上下文信息。即使不给模型（washington, capital, USA)这个先验的关系信息，仅仅利用上下文信息也能够识别出washington是一个地名实体。我认为不可以认为washington在一个句子里是孤立的。 同时即便您认为这是一种比较intuitive的思路，在relative work以及您的工作中，都表现出目前的各种框架构造下，都不能够使得RE的信息帮助到NER，反而单向的方式在NER上效果更好。 当然，这样一个讨论只是一个主观的讨论，我疑问中想指出的是您的实验结果是否证明了PFN模型的encode方式也不能够使得RE的信息帮助到NER的识别。我并没有质疑您设计的另外两个实验，我认为它们是具有启发性的。

[Coopercoppers]

论文 section 6.1第三段有对这一问题做过讨论，可以参考一下。

[AnWang-AI]

不好意思，因为6.1文中只提到ACE05，所以我以为它没有涵盖SciERC的情况。事实上，您的table 3是包含了的。 想请问下，根据您的解释，如果使用Sequential的encode方式，是否In-triple的entity识别准确率下降，而out-of-triple准确率上升呢？如果能够补充类似这样的验证实验，感觉会让人得到一个非常直观的理解。

[Coopercoppers]

这个你可以自行进一步验证，这只是根据实验结果得出的一个假设。实验结果说明了模型确实在NER上还有改进空间，当前的模型确实是不如sequential，但是你把decoder换成PFN-nested是否还会不如sequential呢？这得进一步做实验。当然这个你也可以去自行验证一下。其他还有什么问题吗？

[AnWang-AI]

目前没有问题了。非常感谢您的回答。