实验分析

[yuanb07]

您好，在Hardness Visualization这个实验中，如何从实验结果中能看出存在FPP？还有能详细说说Figure 3: An illustration of adaptive hardness negative sampling？希望您能帮我解答，十分感谢！

[Riwei-HEU]

感谢您的关注！

在我们的文章中，False Positive Problem (FPP) 主要存在简单负采样方法中，例如随机负采样方法，由于物品的总数是十分庞大的，而用户真正感兴趣的物品相对而言往往很少，因此随机从未交互的物品中采样会导致很容易采样到简单的负样本，即用户完全不感兴趣的物品，例如，用户十分喜欢Apple的电子产品，但采样到的负样本都是衣服鞋子之类的生活用品，而不是华为或者三星品牌的电子产品。这种情况下构建的训练数据可能没办法学到用户真实的兴趣，或者没办法推动真正的潜在正样本往前移动（见图2），对应Hardness Visualization中RNS的实验结果在训练一段时间后就趋于稳定了，只能学到大概的用户兴趣（电子产品 -- 衣服鞋子），没办法学到用户更细致的兴趣（Apple -- 华为三星）。

Figure 3 其实就是提出算法（公式2和3）的示意图，对于排在很前面的正样本，我们让模型感知到这已经学习得足够好了，因此不需要那么大的动力来push它再往前 （可以从梯度上理解），采样一个简单的负样本就够了；而对于那么目前排在很后面的正样本，我们让模型认识到它还没学很好，需要更大的动力来push它往前，因此给它采样了一个难的负样本。而这种采样会随着训练的过程动态地调整，因此叫adaptive hardness。