search

zhougr1993 / DeepInterestNetwork

1.62k stars 558 forks source link

代码存在严重bug: label泄露 #76

Closed starspringcloud closed 4 years ago

starspringcloud commented 4 years ago

model.py 构建图过程中 正样本使用 hist_i = tf.layers.batch_normalization(inputs = hist_i) 负样本使用 hist_j = tf.layers.batch_normalization(inputs = hist_j) 正确写法应该是 hist_j = tf.layers.batch_normalization(inputs = hist_j, reuse=True) 该bug会导致，正负样本计算通过不同的网络，造成的真值泄露。 修复该bug后，auc 严重下降，具体下降多少，和具体数据有关。 在我们的样本上下降幅度超过5个点。

zhougr1993 commented 4 years ago

不好意思，这是12月份改动带入的一个bug，当时这个工作的code是在较差的code基础上加急改的，整理得有点乱。 这个也是我的工作，在这里我们把代码重构了一下，没有这些问题：https://github.com/mouna99/dien

价值观的话，不至于扣这种帽子哈~

zhougr1993 commented 4 years ago

非常感谢你的提醒，我重新做了实验，效果对比之前有非常显著的衰减，Amazon数据集整个提升的幅度和movie-lens的提升幅度接近了，对比deepFM是约 3个点GAUC的提升，新的实验结果过在日志文件和README中进行了更新。

Model GAUC AUC
DIN 0.8698 0.8716
DIN with Dice 0.8711 0.8738