zjunlp / IEPile

[ACL 2024] IEPile: A Large-Scale Information Extraction Corpus
http://oneke.openkg.cn/
Other
157 stars 14 forks source link

模型的输出为什么一定要包含指令中的所有 schema 并保证顺序一致? #16

Closed OStars closed 4 months ago

OStars commented 4 months ago

您好,非常感谢您整理了众多数据集并将其开源出来!

不过我对数据处理也有一些疑问,如题:模型的输出为什么一定要包含指令中的所有 schema 并保证顺序一致? 如果一个句子中不包含任何实体/关系/事件,或包含少量实体/关系/事件,会要求输出一个 values 都为空(或有效值很稀疏)的 json,这个 json 可能会非常长 (比如 CASIE 数据集);为什么不选择仅输出句子中包含的实体/关系/事件呢,减少模型输出长度可能在训练和推理效率上也有一定的改善?

希望您能够解答我的疑问,感谢!

zxlzr commented 4 months ago

您可以自行改造只输出句子中包含的内容

guihonghao commented 4 months ago

对于schema=[A,B,C],text中存在的scheme是A。

一种输出格式是: {A:[span1, span2], B: [], C: []} 另一种输出格式是:{A:[span1, span2]}

在一些实验上能发现第一种格式准确率会更好一些,直觉上是模型显式地拒绝回答了。

zxlzr commented 4 months ago

请问您还有其他问题吗?