hw-du / CBiT

Implementation of the paper "Contrastive Learning with Bidirectional Transformers for Sequential Recommendation".
GNU General Public License v3.0
26 stars 6 forks source link

基线问题 #8

Closed arnold-em closed 1 year ago

arnold-em commented 1 year ago

您好还是想麻烦您一下,如果说错请批评指正 因为SASRec 在他的论文中的指标要高很多,不太清楚问题出在哪里, 以及CoseRec的数据集处理方式,麻烦作者了!

非常感谢! 非常感谢您做出的贡献!!!!

hw-du commented 1 year ago

SASRec原论文中使用的是采样100个负样本打分的方式,我们采用的是在数据集中所有物品上打分的方式,这两种打分方式会得出不一样的分数。通常来说,在数据集中所有物品上打分的方式能够更加客观地反映模型的性能。具体请参考 [1], [2]。

[1] Krichene, W., & Rendle, S. (2020, August). On sampled metrics for item recommendation. In Proceedings of the 26th ACM SIGKDD international conference on knowledge discovery & data mining (pp. 1748-1757). [2] Dallmann, A., Zoller, D., & Hotho, A. (2021, September). A case study on sampling strategies for evaluating neural sequential item recommendation models. In Proceedings of the 15th ACM Conference on Recommender Systems (pp. 505-514).

hw-du commented 1 year ago

另外,我们做实验时CoSeRec和CBiT使用的是完全相同的数据集。

arnold-em commented 1 year ago

非常感谢,那我要把那个100 改成 numitem嘛

arnold-em commented 1 year ago

非常感谢,那我要把那个100 改成 numitem嘛

hw-du commented 1 year ago

可以参考https://github.com/aHuiWang/CIKM2020-S3Rec/issues/11

arnold-em commented 1 year ago

非常感谢了!!!!!!!!!!!!!!!!!!!!