SAI990323 / TALLRec

Apache License 2.0
190 stars 31 forks source link

请问baseline SASRec Auc指标是如何计算的? #36

Closed remember00000 closed 10 months ago

remember00000 commented 10 months ago

注意到auc并不是SASREC传统的评价指标,请问您是怎么计算这里的,请问代码中是如何实现的?谢谢!

jizhi-zhang commented 10 months ago

非常感谢您对于我们工作的关注,

由于我们测试的是CTR的setting,是一个二分类问题。AUC是CTR任务最经典的指标,这也是我们选用AUC这个评价指标的原因。

在具体实现上面,我们将所有baseline的最后一层的激活函数变成了CTR任务中常用的激活函数Sigmoid,使得这些baseline便于进行CTR任务。这时候输出的就是用户对目标item的CTR值。

具体而言,每个推荐样例由(seq, target,label)三个部分构成,其中seq表示历史交互,target表示要进行判断的物品, label表示用户是否喜欢target,为0和1。

以SASRec为例

将seq放入SASRec中,然后得到对应target的logits,最后通过Sigmoid激活函数得到对应的概率值。我们有值为0和1的label,所以可以计算AUC,从而度量模型在CTR任务下面的性能。