search

shuibinlong / ConvR

The pytorch implementation of ConvR model from "Adaptive Convolution for Multi-Relational Learning"
25 stars 6 forks source link

关于实验结果评估 #1

Open Re-fused opened 2 years ago

Re-fused commented 2 years ago

非常感谢，看了你写的代码收获颇多，但是在执行代码的时候，产生了一个疑惑，论文中ConvR模型在FB15k-237评分结果hit@10结果尾0.528，而执行你写的代码结果为0.586左右，效果非常的好，不清楚其中的原因。

shuibinlong commented 2 years ago

我这里只评测了尾实体（即固定「头实体」和「关系实体」，枚举「尾实体」计算ground truth的mrr和hit@n）个人猜测原文里的结果应该是既评测了「头实体」也评测了「尾实体」再以它们的均值当作指标，因为我之前研读ConvE的代码发现它是这样做的。

ps. 以上纯个人猜想哈，不排除可能还有其他原因😅

Re-fused commented 2 years ago

我这里只评测了尾实体（即固定「头实体」和「关系实体」，枚举「尾实体」计算ground truth的mrr和hit@n）个人猜测原文里的结果应该是既评测了「头实体」也评测了「尾实体」再以它们的均值当作指标，因为我之前研读ConvE的代码发现它是这样做的。

ps. 以上纯个人猜想哈，不排除可能还有其他原因😅

我测试一下，好像是这个原因，非常感谢

liuhongran626 commented 2 years ago

请问楼主有修改好评分代码嘛？

shuibinlong commented 2 years ago

请问楼主有修改好评分代码嘛？

最近比较忙并没有什么时间填坑= =，也许你可以提个pr贡献一下？🥹

XLJZT commented 10 months ago

我这里只评测了尾实体（即固定「头实体」和「关系实体」，枚举「尾实体」计算ground truth的mrr和hit@n）个人猜测原文里的结果应该是既评测了「头实体」也评测了「尾实体」再以它们的均值当作指标，因为我之前研读ConvE的代码发现它是这样做的。 ps. 以上纯个人猜想哈，不排除可能还有其他原因😅

我测试一下，好像是这个原因，非常感谢

你好 请问你测试之后达到了论文里的结果吗， 我这边加了头实体预测之后，几个评价指标结果相较于论文低了四五个点