Closed OStars closed 5 months ago
您好,非常感谢您整理了众多数据集并将其开源出来!
不过我对数据处理也有一些疑问,如题:模型的输出为什么一定要包含指令中的所有 schema 并保证顺序一致? 如果一个句子中不包含任何实体/关系/事件,或包含少量实体/关系/事件,会要求输出一个 values 都为空(或有效值很稀疏)的 json,这个 json 可能会非常长 (比如 CASIE 数据集);为什么不选择仅输出句子中包含的实体/关系/事件呢,减少模型输出长度可能在训练和推理效率上也有一定的改善?
希望您能够解答我的疑问,感谢!
您可以自行改造只输出句子中包含的内容
对于schema=[A,B,C],text中存在的scheme是A。
一种输出格式是: {A:[span1, span2], B: [], C: []} 另一种输出格式是:{A:[span1, span2]}
在一些实验上能发现第一种格式准确率会更好一些,直觉上是模型显式地拒绝回答了。
请问您还有其他问题吗?
您好,非常感谢您整理了众多数据集并将其开源出来!
不过我对数据处理也有一些疑问,如题:模型的输出为什么一定要包含指令中的所有 schema 并保证顺序一致? 如果一个句子中不包含任何实体/关系/事件,或包含少量实体/关系/事件,会要求输出一个 values 都为空(或有效值很稀疏)的 json,这个 json 可能会非常长 (比如 CASIE 数据集);为什么不选择仅输出句子中包含的实体/关系/事件呢,减少模型输出长度可能在训练和推理效率上也有一定的改善?
希望您能够解答我的疑问,感谢!