RUCAIBox / RecBole

A unified, comprehensive and efficient recommendation library
https://recbole.io/
MIT License
3.37k stars 606 forks source link

recall和hit rate结果一样 #1671

Open yaokunliu opened 1 year ago

yaokunliu commented 1 year ago

数据集划分设置 order: TO split: {'RS': [0.8,0.1,0.1]} 运行SASRec,每个用户序列只保留了一个item作为label,导致recall和hitrate数值一样;计算recall时是否应该利用最后多个item作为label list,来计算recall

zhengbw0324 commented 1 year ago

@imkkkkkk 您好! 在序列推荐场景下,测评是以序列为单位,不以user为单位,每个序列仅有一个正例item,这种情况下recall与hit是等价的。

yaokunliu commented 1 year ago

@imkkkkkk 您好! 在序列推荐场景下,测评是以序列为单位,不以user为单位,每个序列仅有一个正例item,这种情况下recall与hit是等价的。

多兴趣序列推荐中每个序列选取多个正例item从而计算recall(参考ComiRec),在此输出recall也是想利用普通序列推荐和多兴趣推荐进行对比,建议在计算序列推荐的recall时考虑到采用多个正例避免和hitrate一样

zhengbw0324 commented 1 year ago

@imkkkkkk 目前我们仅支持传统序列推荐场景下的测评,如果您需要多兴趣场景测评,可以通过自定义Dataloader实现。