GRRGCN model reproduction problem

chuhang123 commented 3 years ago

我复现您的GRRGCN 模型，精度和您论文中的不一致，想问下是什么原因。我的唯一改动的参数是batch_size，从8改成了4. 模型只迭代了71次？希望大佬指教，谢谢哈

chuhang123 commented 3 years ago

我复现bigrrgcn模型仅仅迭代了十几轮就结束了，测试结果也和论文中的结果相差较大，我应该怎么做才能得到论文的结果？（SRGCN、TeMP-SA模型复现的结果与论文中的数据一致，为什么TeMP-GRU模型的结果复现不出来呢）另外还想问一下论文中的TeMP-GRU和TeMP-SA模型的实验结果是单向的还是双向的？（我是用的icews14数据集）谢谢哈

chuhang123 commented 3 years ago

@JiapengWu 麻烦您解答一下哈，谢谢谢谢

chuhang123 commented 3 years ago

找到了其中一个原因，当参数type1设置为True时，单向gru性能接近了论文中的实验结果。但是双向Gru的实验结果仍然较差，结果如下{'mrr': 0.35871610045433044, 'avg_test_loss': nan, 'hit_10': 0.7556201815605164, 'hit_3': 0.4985460340976715, 'hit_1': 0.14875294268131256}。迭代了117次 @JiapengWu 期待您的回复

JiapengWu commented 3 years ago

不好意思最近没来得及回我周末回复一下。

On Jun 10, 2021, at 9:49 PM, 楚航 @.**@.>> wrote:

找到了其中一个原因，当参数type1设置为True时，单向gru性能接近了论文中的实验结果。但是双向Gru的实验结果仍然较差，结果如下{'mrr': 0.35871610045433044, 'avg_test_loss': nan, 'hit_10': 0.7556201815605164, 'hit_3': 0.4985460340976715, 'hit_1': 0.14875294268131256}。迭代了117次 @JiapengWuhttps://github.com/JiapengWu 期待您的回复

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHubhttps://github.com/JiapengWu/TeMP/issues/10#issuecomment-859201076, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AFN2LV64BSREBOQCBH5JWITTSFTTDANCNFSM45I2JVWA.

chuhang123 commented 3 years ago

不好意思最近没来得及回我周末回复一下。 On Jun 10, 2021, at 9:49 PM, 楚航 @.**@.>> wrote: 找到了其中一个原因，当参数type1设置为True时，单向gru性能接近了论文中的实验结果。但是双向Gru的实验结果仍然较差，结果如下{'mrr': 0.35871610045433044, 'avg_test_loss': nan, 'hit_10': 0.7556201815605164, 'hit_3': 0.4985460340976715, 'hit_1': 0.14875294268131256}。迭代了117次 @JiapengWuhttps://github.com/JiapengWu 期待您的回复 — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub<#10 (comment)>, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AFN2LV64BSREBOQCBH5JWITTSFTTDANCNFSM45I2JVWA.

好的谢谢哈

ZifengDing commented 2 years ago

我把embedding size调成256我也跑不出这个结果，而且mrr跑出来才0.4左右。就改了hidden dim， embed size和num bases。全都设置成了256。bisargcn很正常，bigrrgcn就是跑不到好结果。有办法提供一下hyperparameter tuning时候的结果吗？比如说embed size变成256或者64的结果。

ljn0320 commented 2 years ago

我把embedding size调成256我也跑不出这个结果，而且mrr跑出来才0.4左右。就改了hidden dim， embed size和num bases。全都设置成了256。bisargcn很正常，bigrrgcn就是跑不到好结果。有办法提供一下hyperparameter tuning时候的结果吗？比如说embed size变成256或者64的结果。

请问您的环境是按照作者readme配置的吗，我的dgl包安装出现了问题，版本不兼容

ljn0320 commented 2 years ago

不好意思最近没来得及回我周末回复一下。 On Jun 10, 2021, at 9:49 PM, 楚航 @.**@.**>> wrote: 找到了其中一个原因，当参数type1设置为True时，单向gru性能接近了论文中的实验结果。但是双向Gru的实验结果仍然较差，结果如下{'mrr': 0.35871610045433044, 'avg_test_loss': nan, 'hit_10': 0.7556201815605164, 'hit_3': 0.4985460340976715, 'hit_1': 0.14875294268131256}。迭代了117次 @JiapengWuhttps://github.com/JiapengWu 期待您的回复 — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub<#10 (comment)>, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AFN2LV64BSREBOQCBH5JWITTSFTTDANCNFSM45I2JVWA.

好的谢谢哈

你好，我在配置环境的时候出了点问题，请问您的环境是按照readme配置的吗，我的dgl没有找到0.4.1这个版本，然后产生了很多bug，请问您的dgl用的是什么版本?谢谢！！

JiapengWu / TeMP

GRRGCN model reproduction problem #10