search

zhougr1993 / DeepInterestNetwork

1.61k stars 559 forks source link

din模型实际业务应用 #44

Open andrew-zzz opened 5 years ago

andrew-zzz commented 5 years ago

用业务数据训练 auc能达到0.9以上,但是调用logits_sub预测所有物品得分时候,肉眼看发现效果并不好,并且得分都特别接近,仅0.01左右差距 这是为什么嘞

gaoli1990 commented 5 years ago

关注

zhougr1993 commented 5 years ago

用业务数据训练 auc能达到0.9以上,但是调用logits_sub预测所有物品得分时候,肉眼看发现效果并不好,并且得分都特别接近,仅0.01左右差距 这是为什么嘞

0.01如果是绝对值 这个差别已经非常大了。auc反应更多的是排序效果 neg loss可以一定程度上反应预估的CTR的精度，你可以关注一下loss，然后这个打分的区分度其实和样本本身的分布有关系。

LHFCOD commented 4 years ago

用业务数据训练 auc能达到0.9以上,但是调用logits_sub预测所有物品得分时候,肉眼看发现效果并不好,并且得分都特别接近,仅0.01左右差距 这是为什么嘞

我的也是，auc特别高，0.88,然后我把hist序列改成随机数，也是0.87左右，只有把item也改成随机，auc才下降到0.501。 我感觉如此高的auc是bug呀。

zhougr1993 commented 4 years ago

用业务数据训练 auc能达到0.9以上,但是调用logits_sub预测所有物品得分时候,肉眼看发现效果并不好,并且得分都特别接近,仅0.01左右差距 这是为什么嘞

我的也是，auc特别高，0.88,然后我把hist序列改成随机数，也是0.87左右，只有把item也改成随机，auc才下降到0.501。 我感觉如此高的auc是bug呀。

公开数据集只是一个实现demo，比如负样本都是随机采样的，这是不真实的负样本。如果你们使用业务数据，正负样本都是真实的，建议先关注下正负样本的label逻辑。然后AUC也好GAUC也好，其绝对值都是和数据本身的分布相关的，不同数据没有很强直接对比的意义。但是同一个数据集上，不同的算法是有对比意义的。