search

CRIPAC-DIG / SR-GNN

[AAAI 2019] Source code and datasets for "Session-based Recommendation with Graph Neural Networks"
822 stars 270 forks source link

关于在Diginegica数据集上的实验结果 #44

Closed Danhamy closed 4 years ago

Danhamy commented 4 years ago

在Diginetica数据集上的实验结果，在论文里和论文解析的blog里不一样，请问这是怎么回事呢？我跑代码的结果也没有达到论文里的结果。

Coder-Yu commented 4 years ago

是个不太work的idea 比RNN-based models并没有好多少。很奇怪的一点是，SR-GNN的paper里面，NARM这个方法前两个数据集都是直接抄的NARM原文的结果，但是Diginegica没有照抄，反而给它拉低了近20%。非常的interesting。据我们的实验，Diginegica上想跑到Recall@20 60%以上应该是很容易的。而且NARM原文里面用的Recall，SR-GNN用的precision来评估，居然直接就把NARM的结果抄过来。

Coder-Yu commented 4 years ago

作者能不能回应下我的质疑？paper里面SR-GNN比NARM在Diginegica高的结果是怎么得到的。故意劣化别的baseline吗？

Coder-Yu commented 4 years ago

Thank you for your meticulous observations. The root cause of this problem is that we use the same preprocessing procudure as NARM's. (I believe you must have noticed this.) Also, STAMP's preprocessing on DIGENTICA data made the same mistake. Thereby, the performance of all baselines currently is on a wrong basis. We will update the code and the corresponding performance in the final version of the paper. After the conference proceeding comes out we will also upload it to arXiv. Please keep an eye on. Thanks again.

Originally posted by @SXKDZ in https://github.com/CRIPAC-DIG/SR-GNN/issues/3#issuecomment-455797210

自己用了用的同样的预处理方式，为什么结果不一致呢。其他两个数据集上可以直接copy，diginetica上怎么不能呢。

SXKDZ commented 4 years ago

是个不太work的idea 比RNN-based models并没有好多少。很奇怪的一点是，SR-GNN的paper里面，NARM这个方法前两个数据集都是直接抄的NARM原文的结果，但是Diginegica没有照抄，反而给它拉低了近20%。非常的interesting。据我们的实验，Diginegica上想跑到Recall@20 60%以上应该是很容易的。而且NARM原文里面用的Recall，SR-GNN用的precision来评估，居然直接就把NARM的结果抄过来。

你在上面的回复里已经看到了，DIGENTICA在baseline工作（NARM、STAMP上）的预处理方式是有问题的，NARM的作者后来做了一篇RepeatNet(AAAI19)，我们用了和他完全相同的baseline结果。

Coder-Yu commented 4 years ago

参考了一下RepeatNet，确实如此。但直接抄别人论文里的结果不对吧，实验环境肯定是有一些差异的。这几篇GNN-based的论文相比NARM的提升实在有限的很

ofisherll commented 4 years ago

参考了一下RepeatNet，确实如此。但直接抄别人论文里的结果不对吧，实验环境肯定是有一些差异的。这几篇基于GNN的论文摘要NARM的提升实在有限的很

你好，请问能够给发一下Diginegica的数据集吗，我找了好久还是找不到。十分感谢！邮箱：1021174876@qq.com 谢谢！

ofisherll commented 4 years ago

是个不太work的idea 比RNN-based models并没有好多少。很奇怪的一点是，SR-GNN的paper里面，NARM这个方法前两个数据集都是直接抄的NARM原文的结果，但是Diginegica没有照抄，反而给它拉低了近20%。非常的interesting。据我们的实验，Diginegica上想跑到Recall@20 60%以上应该是很容易的。而且NARM原文里面用的Recall，SR-GNN用的precision来评估，居然直接就把NARM的结果抄过来。

你在上面的回复里已经看到了，DIGENTICA在baseline工作（NARM、STAMP上）的预处理方式是有问题的，NARM的作者后来做了一篇RepeatNet(AAAI19)，我们用了和他完全相同的baseline结果。

你好，请问能够给发一下Diginegica的数据集吗，我找了好久还是找不到。十分感谢！邮箱：1021174876@qq.com 谢谢！