search

zjunlp / MKGformer

[SIGIR 2022] Hybrid Transformer with Multi-level Fusion for Multimodal Knowledge Graph Completion
MIT License
168 stars 28 forks source link

运行结果 #33

Closed With-JS closed 1 year ago

With-JS commented 1 year ago

感谢您的解答，还有一个问题不太清楚。我运行了MRE任务，为什么设置了随机种子，但每次运行结果不一样，而且代码的运行结果与论文中给出的结果不一致，F1的真实结果比论文中下降了1%多个点，准确率的真实值在90%左右，而论文中是85%左右。

njcx-ai commented 1 year ago

您好，感谢对本项目的关注。很抱歉您设置的随机种子但每次运行结果不一样这个问题我们也不太确定原因。关于MNRE这个数据集上的结果： （1）可能是运行环境不同机器之间的差异，建议重新clone且按照readme处理图片并在默认参数附近做调参； （2）另外论文中MNRE数据上的准确率是82.67%呀，不是85%

With-JS commented 1 year ago

非常感谢，我试过了，好的GPU确实能获得好一点结果。准确率的话是我记错了，但是不管我用什么GPU，代码的实际准确率确实在90%左右

flow3rdown commented 1 year ago

非常感谢，我试过了，好的GPU确实能获得好一点结果。准确率的话是我记错了，但是不管我用什么GPU，代码的实际准确率确实在90%左右

您的意思是准确率比论文高，召回率比较低吗？可以根据运行脚本中推荐的参数调一下参试试。