search

shuibinlong / ConvR

The pytorch implementation of ConvR model from "Adaptive Convolution for Multi-Relational Learning"
25 stars 6 forks source link

关于ConvE的测评结果 #2

Open qingxufish opened 2 years ago

qingxufish commented 2 years ago

你好作者，由于ConvE原作者的代码我实在跑不通，我参考了你的代码，收获很多，十分感谢。但是在WN18RR数据集上运行ConvE的时候，未能达到预期的结果。原文章的MRR能达到0.43，但是我尝试了很多次，MRR都停在0.32左右。请问你跑的结果如何？

shuibinlong commented 2 years ago

你好！起初，这个项目主要是想复现ConvR，所以原谅我并没有对ConvE的指标关注太多😅。“和原论文指标有gap”这个问题您可以看一下issue(#1)的讨论，简单总结大概是我的这份代码里只评测了「尾部实体」的hit@n和mrr，原论文应该既评测「头部实体」也评测「尾部实体」并综合后得到的最终指标。此外，你可以留意一下实验使用的超参数是否能和论文对齐，如果后续有发现新问题的话可以持续讨论～

ps. 因为Conv系列的特殊性，评测「头部实体」需要单独为每个(h,r,t)三元组生成对应的逆关系r‘三元组(t,r',h)再去评测，我当时略过了这一部分。

Happygjw commented 1 year ago

楼主你好，请问conve训练好的ckpt文件使用的接口没有吗？

shuibinlong commented 1 year ago

楼主你好，请问conve训练好的ckpt文件使用的接口没有吗？

当时没有写这个功能，但是框架是pytorch，所以用pytorch支持的接口就行？