ShomyLiu / Neu-Review-Rec

A Toolkit for Neural Review-based Recommendation models with Pytorch.
http://shomy.top/2019/12/31/neu-review-rec/
168 stars 54 forks source link

关于复现结果的问题 #26

Closed lknownothing closed 2 years ago

lknownothing commented 3 years ago

感谢分享! 我使用readme里默认的Digital_Music数据集,训练了DeepCoNN和NARRE。

  1. 发现在DeepCoNN上验证结果为evaluation reslut: mse: 0.8446; rmse: 0.9190; 好于NRCA中出现的mse=1.056。在NARRE上为evaluation reslut: mse: 0.8321; rmse: 0.9122; mae: 0.6754 ,差于NRCA文中的mse=0.812
  2. 此外,在较大的数据集上Video_Games上,NARRE的mse也只有1.14左右,达不到NRCA中的1.11。在Toys_and_Games数据集上NARRE和DeepCoNN都是差0.844左右。
  3. 上述结果,我都是用不同随机数训练3-4次,还是存在和NRCA的差距。

想问下作者在具体复现baselines的时候,还需要注意哪些问题能达到和NRCA中差不多的结果呢。

L0ngxhn commented 3 years ago

请问你说的NRCA是论文全称是什么? # #

ShomyLiu commented 3 years ago

@lknownothing 你好! 最近在忙实验,回复较晚。 是这样的,当时投论文时 比如NARRE的对比算法模型是用论文作者发布的代码来跑的结果。 而本项目的数据预处理为了统一,跟原文的方法也会有差异,可以对比一下。