损失函数的定义只涉及到了正样本？

InsaneLife / dssm

DSSM and Multi-View DSSM

658 stars 230 forks source link

Closed ninesky110 closed 3 years ago

ninesky110 commented 3 years ago

您好，我看代码里定义损失函数那一块，先对query分别和正样本负样本的out_embedding求cos，然后外接softmax之后，只用到了正样本的概率结果，为什么不把负样本的概率结果求负之后也加进来呢？

如果按照您的loss定义，那么完全可以舍去负样本的输入。

ninesky110 commented 3 years ago

明白了正样本的logit输出会受到负样本的影响，因为softmax的关系

InsaneLife commented 3 years ago

明白了正样本的logit输出会受到负样本的影响，因为softmax的关系

是的