search

Tribleave / SCAPT-ABSA

Code for EMNLP 2021 paper: "Learning Implicit Sentiment in Aspect-based Sentiment Analysis with Supervised Contrastive Pre-Training"
MIT License
91 stars 21 forks source link

复现性能问题 #8

Closed wangyuting0628 closed 2 years ago

wangyuting0628 commented 2 years ago

作者您好，我使用您提供的预训练好的模型，在微调阶段进行实验，最终复现的数据远不如您在论文中提到的数据 在ISE上，分数最多下降了9个百分点 同时，在lap数据集上，使用您训练好的SCAPT在BERTAsp上的实验结果，会比没有使用SCAPT直接跑BERTAsp上的实验结果低 参数的设置是和您一样的，想请问一下为什么，谢谢！

Tribleave commented 2 years ago

您好，在README中放出的模型（如BERTAsp+SCAPT在Restaurant）是已经在ABSA数据集上微调过的模型，请问您是直接推理得到的结果，还是重新又跑了一次微调呢？

wangyuting0628 commented 2 years ago

哦哦，原来是这样，我是重新又跑了一次微调，所以结果会差，非常感谢！ 然后想请问一下，我现在想复现微调那一步，可以开源一下您训练好的SCAPT模型吗，谢谢

Tribleave commented 2 years ago

我们暂时没有计划放出仅有预训练的模型。如果想观察微调的结果，可以尝试直接微调 BERTAsp。

wangyuting0628 commented 2 years ago

好的，谢谢！