zhougr1993 / DeepInterestNetwork

1.62k stars 558 forks source link

代码存在严重bug: label泄露 #76

Closed starspringcloud closed 4 years ago

starspringcloud commented 4 years ago

model.py 构建图过程中 正样本使用 hist_i = tf.layers.batch_normalization(inputs = hist_i) 负样本使用 hist_j = tf.layers.batch_normalization(inputs = hist_j) 正确写法应该是 hist_j = tf.layers.batch_normalization(inputs = hist_j, reuse=True) 该bug会导致,正负样本计算通过不同的网络,造成的真值泄露。 修复该bug后,auc 严重下降,具体下降多少,和具体数据有关。 在我们的样本上下降幅度超过5个点。

zhougr1993 commented 4 years ago

不好意思,这是12月份改动带入的一个bug,当时这个工作的code是在较差的code基础上加急改的,整理得有点乱。 这个也是我的工作,在这里我们把代码重构了一下,没有这些问题:https://github.com/mouna99/dien

价值观的话,不至于扣这种帽子哈~

zhougr1993 commented 4 years ago

非常感谢你的提醒,我重新做了实验,效果对比之前有非常显著的衰减,Amazon数据集整个提升的幅度和movie-lens的提升幅度接近了,对比deepFM是约 3个点GAUC的提升,新的实验结果过在日志文件和README中进行了更新。

Model GAUC AUC
DIN 0.8698 0.8716
DIN with Dice 0.8711 0.8738