bys0318 / SQUIRE

EMNLP 22' (Oral): SQUIRE: A Sequence-to-sequence Framework for Multi-hop Knowledge Graph Reasoning
31 stars 5 forks source link

为什么论文中提到的benchmark模型的实验结果比它们原文中的好那么多? #5

Closed smc0314 closed 1 year ago

smc0314 commented 1 year ago

为什么论文中提到的benchmark模型的实验结果比它们原文中的好那么多?

bys0318 commented 1 year ago

请问你是指哪个模型呢?

smc0314 commented 1 year ago

请问你是指哪个模型呢?

比如ConvE模型,原文中在FB15k-237数据集上的hit@1最好为0.237,而在您的论文中为0.342,其它几个模型TransE、RotatE等在您的论文中实现效果也普遍偏高很多

bys0318 commented 1 year ago

我们的实验评估只预测尾实体,这一块与KGE相关工作不同(KGE相关工作评测时同时预测头尾实体并将结果取平均),我们的实验评测follow了之前的multi-hop reasoning工作的设定。