Closed bugmaker00 closed 2 years ago
您好!谢谢关注!我自己复现的也有一些差距,但是simcse给出了官方代码和预训练模型,它的模型是可以达到论文中给出的结果的。另外,从simcse的项目issue里边来看,很多人反映了这个问题,不同的硬件环境和pytorch以及cuda版本等对结果也有较大影响,所以差一个点是正常的。但是esimcse,官方的代码和预训练模型一直没放出来的,具体情况就不了解了。
感谢回复~ Esimcse我复现了word_repetition部分,提升了不到0.5%,与原文消融实验的1.64%相差确实比较大。 另外还有一个问题,因为还没来得及细读您的代码,您是在simcse还是在esimcse基础上新增的 sn+BML呀?
和这两个有些区别,借鉴了promptBERT的思路,具体可以参见我们的论文。
好的,再次感谢您的分享和回复,我再去仔细拜读一下您的论文和代码。
作者您好,感谢分享! 想问一下您在复现simcse和esimcse的unsup on bert-base-uncased时,按照官方参数跑,结果与论文公开结果一致吗? 我复现的simcse avg结果只有75.27,论文公开结果为76.25,差了将近一个点。 再次感谢~