双向边际损失 - Githubissues

Sense-GVT / SNCSE

SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples

73 stars 11 forks source link

Open 447428054 opened 1 year ago

447428054 commented 1 year ago

@phoenixsecularbird @YG256Li 您好，我想请问一下双向边际损失为什么能够起到约束到限定范围的作用呢

phoenixsecularbird commented 1 year ago

您好！感谢关注我们的工作！双向边际损失中的激活函数是ReLU函数，通过两个ReLU函数限定一个范围，当值在这个范围内时，损失为0，否则损失为正值，从而参与模型参数的更新。

447428054 commented 1 year ago

您好！感谢关注我们的工作！双向边际损失中的激活函数是ReLU函数，通过两个ReLU函数限定一个范围，当值在这个范围内时，损失为0，否则损失为正值，从而参与模型参数的更新。

好的，感谢回复