ShomyLiu / Neu-Review-Rec

A Toolkit for Neural Review-based Recommendation models with Pytorch.
http://shomy.top/2019/12/31/neu-review-rec/
168 stars 54 forks source link

关于数据集的问题 #36

Open Axin647 opened 1 year ago

Axin647 commented 1 year ago

大佬您好,我使用亚马逊元数据集(如meta_Digital_Music)在各模型上训练出来的mse竟比原数据集效果好,明明数据更稀疏了,为啥会出现这种情况呢?

Axin647 commented 1 year ago

还有一点,在对模型进行测试后,evaluation reslut: mse 是代表test的mse嘛

ShomyLiu commented 1 year ago

Hi,

  1. meta数据集我这边没有测试过, “在各模型上训练出来的mse竟比原数据集效果好” 这个是怎么对比的? 同样的测试集吗? 还是仅仅看了mse?
  2. evaluation reslut: mse 这个是在验证集的结果, 如果要最终测试,调用test,详见readme即可。
Axin647 commented 1 year ago

Hi,

  1. meta数据集我这边没有测试过, “在各模型上训练出来的mse竟比原数据集效果好” 这个是怎么对比的? 同样的测试集吗? 还是仅仅看了mse?
  2. evaluation reslut: mse 这个是在验证集的结果, 如果要最终测试,调用test,详见readme即可。

感谢大佬回复! 我是用Digital_Music.json数据集(较源数据集更稀疏)在各个模型跑了一遍,仅看mse的结果比较好。 其外我将meta数据集和Digital_Music.json融合,新增item描述特征,在训练集上DeepCoNN的mse为0.369,测试集mse为0.56,而NARRE的mse=0.286,测试集mse=1.86,这大概是哪方面出现问题呢,因本人刚入门,对很多知识欠缺理解,希望大佬指导一下,感谢🙏

ShomyLiu commented 1 year ago

"NARRE的mse=0.286,测试集mse=1.86" 这个不正常,差距有点大,一般不会这样. 原因的话,这个感觉不太确定,其他模型有测试吗,有异常吗

Axin647 commented 1 year ago

“NARRE的mse=0.286,测试集mse=1.86” 这个不正常,差距有点大,一般不会这样。原因的话,这个感觉确定,其他模型有测试吗,有异常吗

感谢大佬回复! 我测试了DeepCoNN,MPCN,D_ATTN,NARRE四个模型,其中NARRE和D_ATTN 差距有点大,其余俩个比较正常,

Axin647 commented 1 year ago

"NARRE的mse=0.286,测试集mse=1.86" 这个不正常,差距有点大,一般不会这样. 原因的话,这个感觉不太确定,其他模型有测试吗,有异常吗

大佬您好,我发现用lfm做输出层的结果就正常了,问题已解决。感谢大佬回复!

ShomyLiu commented 1 year ago

hi, LFM效果的确要好一些,建议使用LFM

Axin647 commented 1 year ago

hi, LFM效果的确要好一些,建议使用LFM

好嘞,谢谢大佬🙏