关于AFM不能复现论文实验结果

LBJ66 commented 6 years ago

何老师，您好！我在使用这份代码的时候，对于FM可以复现出论文的结果；但对于AFM，目前在val上取得的最好RMSE为 0.4639,对应参数为：--epoch 100 --pretrain 1 --batch_size 4096 --hidden_factor [8,256] --keep [1.0,0.5] --lamda_attention 2.0 --lr 0.01 --batch_norm 0，而论文中得到的最好RMSE为0.433左右，请问我有哪些地方处理得有问题吗？

cike14 commented 5 years ago

pretrain之后也没打到论文上的0.4325，望告知

hexiangnan commented 5 years ago

pretrain之后也没打到论文上的0.4325，望告知

你好，很抱歉目前当时实验所用的环境已丢失，暂时无法完全复现。我让当时负责实验的同学稍微重新tune了一下参数， batch_size改为2048，lambda_attention改为32时，启用pretrain后ml-tag上RSME可以达到0.4375，不过和当时实验出的0.4325左右还是有一定差距。推测原因可能和tensorflow版本以及pretrain模型的质量有关系。我们这边尽可能找回当时实验所用的pretrain模型再试试。

hexiangnan commented 5 years ago

何老师，您好！我在使用这份代码的时候，对于FM可以复现出论文的结果；但对于AFM，目前在val上取得的最好RMSE为 0.4639,对应参数为：--epoch 100 --pretrain 1 --batch_size 4096 --hidden_factor [8,256] --keep [1.0,0.5] --lamda_attention 2.0 --lr 0.01 --batch_norm 0，而论文中得到的最好RMSE为0.433左右，请问我有哪些地方处理得有问题吗？

你好，很抱歉目前当时实验所用的环境已丢失，暂时无法完全复现。我让当时负责实验的同学稍微重新tune了一下参数， batch_size改为2048，lambda_attention改为32时，启用pretrain后ml-tag上RSME可以达到0.4375，不过和当时实验出的0.4325左右还是有一定差距。推测原因可能和tensorflow版本以及pretrain模型的质量有关系。我们这边尽可能找回当时实验所用的pretrain模型再试试。

cike14 commented 5 years ago

pretrain之后也没打到论文上的0.4325，望告知

你好，很抱歉目前当时实验所用的环境已丢失，暂时无法完全复现。我让当时负责实验的同学稍微重新tune了一下参数， batch_size改为1024，lambda_attention改为32时，启用pretrain后ml-tag上RSME可以达到0.4391，不过和当时实验出的0.4325左右还是有一定差距。推测原因可能和tensorflow版本以及pretrain模型的质量有关系。我们这边尽可能找回当时实验所用的pretrain模型再试试。

好，谢谢老师

cike14 commented 5 years ago

pretrain之后也没打到论文上的0.4325，望告知

你好，很抱歉目前当时实验所用的环境已丢失，暂时无法完全复现。我让当时负责实验的同学稍微重新tune了一下参数， batch_size改为1024，lambda_attention改为32时，启用pretrain后ml-tag上RSME可以达到0.4391，不过和当时实验出的0.4325左右还是有一定差距。推测原因可能和tensorflow版本以及pretrain模型的质量有关系。我们这边尽可能找回当时实验所用的pretrain模型再试试。

我想再请问下，这个AFM中的二次交叉项与FFM中的二次交叉有什么区别吗

hexiangnan / attentional_factorization_machine

关于AFM不能复现论文实验结果 #15