Open 01070 opened 4 years ago
我在A Local Context Focus Mechanism for Aspect-Based Sentiment Classification中看到在经过CDW或CDM层后有一次MHSA,之后才是与global的部分cat,但是在您的代码(lcf_bert)中似乎经过CDW后就直接与global部分cat,这是为什么呢
@yangheng95 看一下?
@01070 你好,我们在论文中的模型图是我们最初设计的方案,在CDW和CDM后面使用MHSA是为了让CDM和CDW层学习的特征更为平滑。在后续的研究中我们发现这一MHSA部分在误差允许的范围内对模型的影响不大,因此为了简化模型移除了这一部分的MHSA。
非常感谢,您的代码对我帮助很大
我在A Local Context Focus Mechanism for Aspect-Based Sentiment Classification中看到在经过CDW或CDM层后有一次MHSA,之后才是与global的部分cat,但是在您的代码(lcf_bert)中似乎经过CDW后就直接与global部分cat,这是为什么呢