shuibinlong / ConvR

The pytorch implementation of ConvR model from "Adaptive Convolution for Multi-Relational Learning"
25 stars 6 forks source link

关于ConvE的测评结果 #2

Open qingxufish opened 2 years ago

qingxufish commented 2 years ago

你好作者,由于ConvE原作者的代码我实在跑不通,我参考了你的代码,收获很多,十分感谢。但是在WN18RR数据集上运行ConvE的时候,未能达到预期的结果。原文章的MRR能达到0.43,但是我尝试了很多次,MRR都停在0.32左右。请问你跑的结果如何?

shuibinlong commented 2 years ago

你好!起初,这个项目主要是想复现ConvR,所以原谅我并没有对ConvE的指标关注太多😅。“和原论文指标有gap”这个问题您可以看一下issue(#1)的讨论,简单总结大概是我的这份代码里只评测了「尾部实体」的hit@n和mrr,原论文应该既评测「头部实体」也评测「尾部实体」并综合后得到的最终指标。此外,你可以留意一下实验使用的超参数是否能和论文对齐,如果后续有发现新问题的话可以持续讨论~

ps. 因为Conv系列的特殊性,评测「头部实体」需要单独为每个(h,r,t)三元组生成对应的逆关系r‘三元组(t,r',h)再去评测,我当时略过了这一部分。

Happygjw commented 1 year ago

楼主你好,请问conve训练好的ckpt文件使用的接口没有吗?

shuibinlong commented 1 year ago

楼主你好,请问conve训练好的ckpt文件使用的接口没有吗?

当时没有写这个功能,但是框架是pytorch,所以用pytorch支持的接口就行?