search

Tribleave / SCAPT-ABSA

Code for EMNLP 2021 paper: "Learning Implicit Sentiment in Aspect-based Sentiment Analysis with Supervised Contrastive Pre-Training"
MIT License
91 stars 21 forks source link

如果直接在fine-tuning阶段增加对比学习loss #6

Open kangbrilliant opened 2 years ago

kangbrilliant commented 2 years ago

很感谢您的工作，非常清晰。

想请教一个问题，是否有对比以下两种情况的表现呢：

  1. 加载bert权重，在domain-spe数据上fine-tuning，去做aspect分类
  2. 加载bert权重，在domain-spe数据上fine-tuning并添加对比学习loss，去做aspect分类
Tribleave commented 2 years ago

根据我的理解，1中的表现指的就是 BERTAsp 的表现，而2中您指出的实验我们并没有实现过。

未采用该方法的顾虑是原先数据集还是相对较小的。如果您有相关的结果欢迎在 Issue 中与我们分享。

kangbrilliant commented 2 years ago

感谢回复～ 另外还有个问题想求证一下，正如您follow的《Supervised Contrastive Learning》，里面的 有监督对比loss有两种形式，分别是Loss_in，Loss_out，而且论文里说明Loss_out形式比较好，但我们这篇文章里为什么使用Loss_in的形式呢～ 是有对比过这两种loss的效果吗～