search

qiaoguan / deep-ctr-prediction

CTR prediction models based on deep learning(基于深度学习的广告推荐CTR预估模型)
https://github.com/qiaoguan/deep-ctr-prediction
920 stars 277 forks source link

x-deeplearning ESMM AUC 计算bug #17

Open jeffzhengye opened 3 years ago

jeffzhengye commented 3 years ago

感觉x-deeplearning 中auc 计算batch auc，把其中只包含negative的batch 算作invalid 抛弃，这个做法跟tensorflow里面做法不一样。会比较大的影响auc的计算，因为一个batch中没有positive 也会影响全局的FP，auc应该算全局的。 具体请看： https://github.com/alibaba/x-deeplearning/issues/355

qiaoguan commented 3 years ago

你说的这个有一定的道理，因为esmm计算从view->conversion 因为非常稀疏，可能会有一些batch里面没有正常本， 但是实际操作过程中，应该尽量避免这种情况，如果很多batch里面都没有正样本，这其实是不利于模型的学习的。

jeffzhengye commented 3 years ago

你说的这个有一定的道理，因为esmm计算从view->conversion 因为非常稀疏，可能会有一些batch里面没有正常本， 但是实际操作过程中，应该尽量避免这种情况，如果很多batch里面都没有正样本，这其实是不利于模型的学习的。

阿里的数据集大概有30%多没有正例（去5000batch_size）。