Closed remember00000 closed 1 year ago
非常感谢您对于我们工作的关注,
由于我们测试的是CTR的setting,是一个二分类问题。AUC是CTR任务最经典的指标,这也是我们选用AUC这个评价指标的原因。
在具体实现上面,我们将所有baseline的最后一层的激活函数变成了CTR任务中常用的激活函数Sigmoid,使得这些baseline便于进行CTR任务。这时候输出的就是用户对目标item的CTR值。
具体而言,每个推荐样例由(seq, target,label)三个部分构成,其中seq表示历史交互,target表示要进行判断的物品, label表示用户是否喜欢target,为0和1。
以SASRec为例
将seq放入SASRec中,然后得到对应target的logits,最后通过Sigmoid激活函数得到对应的概率值。我们有值为0和1的label,所以可以计算AUC,从而度量模型在CTR任务下面的性能。
注意到auc并不是SASREC传统的评价指标,请问您是怎么计算这里的,请问代码中是如何实现的?谢谢!