search

Lee-zix / RE-GCN

This is the official code release of the following paper: Zixuan Li, Xiaolong Jin, Wei Li, Saiping Guan, Jiafeng Guo, Huawei Shen, Yuanzhuo Wang and Xueqi Cheng. Temporal Knowledge Graph Reasoning Based on Evolutional Representation Learning
129 stars 25 forks source link

Confusion about the experiment #13

Closed maplegpp closed 1 year ago

maplegpp commented 1 year ago

您好，我跑了您的模型，发现一个问题，您的模型似乎在二十几轮左右达到了最佳效果，并且之后loss在下降，MRR反而也下降了。但是您的实验参数设置的epochs是500，请问一下这个是过拟合了吗？为什么随着训练轮次上升效果反而下降了？并且采用您的参数发现关系预测得到的结果好像比论文中的数据差，想问下是我的设置哪个地方有问题？谢谢您~

Lee-zix commented 1 year ago

过拟合所以下降了。代码中设置最大epoch是500，代码会自动保存在验证集上效果最好的模型，你可以将epoch设置的小一点。关系预测的实验除YAGO数据集之外都可以复现，很抱歉YAGO数据集上论文中应该误填成了filter指标下的结果了。你可以汇报你自己复现的在最优参数下的raw结果，我这边复现的raw结果（MRR 94%）也是优于baseline（MRR 91.33%）的SOTA。