Evaluation Metric

[miraitowa9]

请问PTPCG论文中评价指标“事件表填充”和一般事件抽取（事件检测+论元抽取）中的“论元抽取”，这两种指标是一样的吗?都是代码输出结果overall属性下的overall属性的值吗？

[Spico197]

嗨您好，这两种指标不太一样。

一般事件论元抽取任务会假设事件检测的正确率为100%，而论文中的F1值是整个事件表的F1，可以理解为包含了事件类型的判断，是一个任务的整体F1值。在DocEE任务中，通常不会考虑单一的论元抽取性能。输出结果中的实体部分是指实体抽取结果，而非论元（不是所有的实体都是论元）。

overall下的overall指的是事件表填充的整体F1值。

[miraitowa9]

好滴！非常感谢！ 我观察到您的代码中包含DCFEE的代码（dee/models/dcfee.py），请问是否可以运行这个模型（DCFEE）的代码呢？

[Spico197]

支持的。可以参考这里的启动方法：https://github.com/Spico197/DocEE/blob/a32b6f8bf0b2fe28b9942b0b53eff461abf561ba/scripts/reprod_all_exps.sh#L31-L38

[miraitowa9]

好滴！ 31行中提到“DCFEE Baselines: DCFEE-O, DCFEE-M ”，请问这个脚本也是运行一次，就可以得到这两个模型（DCFEE-O, DCFEE-M）的结果吗

[Spico197]

抱歉时间太久有些记不得了，可以跑一轮试试看，我印象中是的。

[miraitowa9]

好滴！非常感谢！

[miraitowa9]

我尝试换了一个数据集运行了deppn模型，但最终得分非常低，只有百分之十几，请问这是正常的嘛？

[Spico197]

抱歉，当前代码对DEPPN的支持有问题，还是需要使用他们原生的代码跑实验：https://github.com/HangYang-NLP/DE-PPN

[miraitowa9]

我复现他的原生代码好像存在一些问题呀？您有没有复现成功过他的代码呀？

[Spico197]

您可以联系DE-PPN的作者帮忙解决该模型的复现问题

[miraitowa9]

好滴谢谢！祝您科研顺利！