simcse与esimcse模型复现结果

[bugmaker00]

作者您好，感谢分享！ 想问一下您在复现simcse和esimcse的unsup on bert-base-uncased时，按照官方参数跑，结果与论文公开结果一致吗？ 我复现的simcse avg结果只有75.27，论文公开结果为76.25，差了将近一个点。 再次感谢~

[phoenixsecularbird]

您好！谢谢关注！我自己复现的也有一些差距，但是simcse给出了官方代码和预训练模型，它的模型是可以达到论文中给出的结果的。另外，从simcse的项目issue里边来看，很多人反映了这个问题，不同的硬件环境和pytorch以及cuda版本等对结果也有较大影响，所以差一个点是正常的。但是esimcse，官方的代码和预训练模型一直没放出来的，具体情况就不了解了。

[bugmaker00]

感谢回复~ Esimcse我复现了word_repetition部分，提升了不到0.5%，与原文消融实验的1.64%相差确实比较大。 另外还有一个问题，因为还没来得及细读您的代码，您是在simcse还是在esimcse基础上新增的 sn+BML呀？

[phoenixsecularbird]

和这两个有些区别，借鉴了promptBERT的思路，具体可以参见我们的论文。

[bugmaker00]

好的，再次感谢您的分享和回复，我再去仔细拜读一下您的论文和代码。