base_processor.py的136行是否有bug呢？

THU-KEG / OmniEvent

A comprehensive, unified and modular event extraction toolkit.

https://omnievent.readthedocs.io/

MIT License

341 stars 33 forks source link

base_processor.py的136行是否有bug呢？ #30

Closed roobustwalnut closed 1 year ago

roobustwalnut commented 1 year ago

发现一个小bug，/OmniEvent/OmniEvent/input_engineering/base_processor.py这个文件里的136行写的是：input_template: Optional[str][str] = None,但是程序报错了，说Optional[str][str]的语法是错的。因此我改成了Optional[str]=None，就可以运行了。不知道我这样改对不对呢？

roobustwalnut commented 1 year ago

还有想问一下评价结果的模块，是不是只能评价ACE呀？用其他数据集好像会报错

h-peng17 commented 1 year ago

小bug已经修复，谢谢指出（commit id: 54a5ec32c03f5a84a5d59c430ad3a389b743cde1）

h-peng17 commented 1 year ago

结果评价模块可以评价目前支持的数据集，如ACE 2005, KBP, MAVEN等。你可以把完整的报错信息放一下吗

roobustwalnut commented 1 year ago

问题解决了，谢谢你们！不过还想问问golden trigger的原理大概是什么呢？在哪里可以查阅呀？

h-peng17 commented 1 year ago

事件抽取一般分为两步：ED和EAE。ED先检测出事件，然后为检测出的事件抽取论元信息。golden trigger是指为正确标注的事件抽取论元信息，而不是为模型预测的（可能有噪声的）事件抽取论元信息。这种评测会直接评估EAE模型的性能，排除ED模型的影响。参考https://arxiv.org/abs/2202.12109