search

l294265421 / ASMOTE

[NLPCC 2021] Aspect-Sentiment-Multiple-Opinion Triplet Extraction
https://arxiv.org/abs/2110.07303
6 stars 1 forks source link

[Question]about asmote 的创新 #1

Open LangDaoAI opened 2 years ago

LangDaoAI commented 2 years ago

Hi Li，

感谢新的paper和code， 一个问题请教一下：

ASMOTE与Aspect-Sentiment-Opinion Triplet Extraction (ASOTE)的区别或者说ASMOTE相比ASOTE创新点可以详细说一下吗，谢谢！

l294265421 commented 2 years ago

Hi Li，

感谢新的paper和code， 一个问题请教一下：

ASMOTE与Aspect-Sentiment-Opinion Triplet Extraction (ASOTE)的区别或者说ASMOTE相比ASOTE创新点可以详细说一下吗，谢谢！

非常感谢您对我们工作的关注。先说结论： （1）实际上，ASMOTE比ASOTE更早一些 （1）ASOTE和ASMOT是解决Aspect Sentiment Triplet Extraction (ASTE)的问题的两种不同思路 （2）ASOTE是更合理的形式；ASMOTE是一个折中形式，坚持要发出来，一方面是为了给出一个过渡方案，ASMOTE不用额外标注数据，因为ASMOTE的数据集也可以像ASTE一样，通过合并之前广泛研究的ATE (Aspect Term Extraction)、TOWE (Target-oriented Opinion Words Extraction)和ATSA (Aspect Term Sentiment Analysis)的数据得到，另一方面是，因为ASOTE一直没被接收，多一个声音来对Aspect Sentiment Triplet Extraction (ASTE)进行更深刻的表达，因为有部分工作把ASTE当成了ASOTE，没弄清楚ASTE究竟是什么。

接下来用一个例子说明三者之前的区别： 输入句子：The atmosphere is attractive, but a little uncomfortable. ASTE: < atmosphere , conflict, attractive>, < atmosphere , conflict, uncomfortable> ASMOTE: < atmosphere , conflict, (attractive, uncomfortable)> ASOTE: < atmosphere , positive, attractive>, < atmosphere , negative, uncomfortable>

ASTE的问题是，它的定义使得抽取的三元组可能不是自包含的 ： （1）三元组里的观点只能解释属性有这样的情感的部分原因，其它原因在三元组外面，如果三元组里包含对属性表达的所有观点，就自包含了；从这个思路来解决问题的话，就是把表达这个情感的观点都聚合在一个三元组里，即ASMOTE的思路 （2）或者说，三元组里的情感是三元组里的观点的和三元组外的观点的情感的聚合结果，如果情感只是三元组里的观点对属性表达的情感，三元组也就自包含了；从这个思路来解决问题的话，就是三元组的情感变为三元组里属性-观点对的情感，即ASOTE的思路

ASMOTE相比与ASOTE的缺点在于： （1）属性的隐式观点没法标注（或预测），最终得到的三元组也可能不是自包含的 （2）得到的观点的信息粒度太粗，比如，< atmosphere , conflict, (attractive, uncomfortable)>，虽然人可以理解，但是更细粒度的< atmosphere , positive, attractive>, < atmosphere , negative, uncomfortable>对下游任务更有帮助

可能您也会想知道ASOTE被拒的原因：论文里提到的数据集里只有约5%的ASOTE三元组的情感与属性的情感不一样，使得有些reviewer觉得没有必要为此提一个新任务。我们还坚持的原因是： （1）在工业界，这5%的ASOTE三元组也是非常重要的，不能处理这5%的ASOTE三元组，会直接因此丢掉客户，因为这5%的ASOTE三元组不都是因为难而处理不了，只是因为没有考虑这方面 （2）ASOTE在概念上是更加合理的

Best regards, Yuncong Li

LangDaoAI commented 2 years ago

非常感谢详细的回复！

1 我可能有些自己的观点想表达： ASOTE整个模型的架构是否能够适应或者适合落地工业界这是我的一个疑问。 2 ASOTE是否显著能够解决隐式观点的问题这个从文章中我似乎没有直观感受到，是隐式观点而不是隐式aspect。 3 模型本身是否具备创新能力可能是reviewer在当今ABSA领域比较看重的，比如今年顶会accpet的一篇使用强化学习的ABSA

以上欢迎继续探讨，谢谢！

l294265421 commented 2 years ago

非常感谢详细的回复！

1 我可能有些自己的观点想表达： ASOTE整个模型的架构是否能够适应或者适合落地工业界这是我的一个疑问。 2 ASOTE是否显著能够解决隐式观点的问题这个从文章中我似乎没有直观感受到，是隐式观点而不是隐式aspect。 3 模型本身是否具备创新能力可能是reviewer在当今ABSA领域比较看重的，比如今年顶会accpet的一篇使用强化学习的ABSA

以上欢迎继续探讨，谢谢！

  1. ASOTE中的模型结构能否落地分场景。从计算量上，ASOTE里的模型确实是之前的基于BERT的联合模型的3倍，但是依旧可以在很多tob等不要求实时的场景下使用；如果是bert本身的计算量就是某个场景不能接受的，那这些模型都会需要进行压缩。这3倍的计算量到底使之与多少场景失之交臂，这很难衡量。另外，补充说一下模型为什么这样设计： （1）之前在某厂工作的时候，也是抽观点，ATE这一步是不需要我们做的，他是跟其它的ner任务一起由一个专门工具完成的，这个工具是nlp部门经过多年千锤百炼得到的；所以，我们的观点抽取可以认为是在给定aspect term的情况下，抽取另外的opinion term及sentiment； （2）所以，在先前版本，ASOTE的模型抽取opinion term和sentiment是由一个联合模型完成的；但是，后来发现，大家都提了基于bert的联合模型，但是没有跟基于bert的pipeline模型比，这个方向需要更加充分的评估pipeline模型以作为联合模型的baseline（联合的目的不应该是彼此之间信息互补提升效果吗？），所以，ASOTE中模型识别opinion term及sentiment的部分也彻底变成pipeline了。结果是，pipeline模型打败之前的联合模型，这或能指导我们重新思考如何更好地利用多个任务之间的信息；
  2. ASOTE只抽取显式表达的的观点，并不抽去隐式表达的观点。这里隐式观点，定义为表达含蓄的情感，在标注规范，没法像显式观点那样标注为一个简单的片段。举个例子，“土豆丝分量很足，但点三次可能只有一次炒得好吃”。这句话里，针对aspect term，“土豆丝”，有一个显式观点，“分量足”，有一个隐式表达的观点，“有时好吃，有时难吃”。ASOTE的抽取结果是，（土豆丝，positive，分量足）；ASTE和ASMOTE的抽取结果一样：（土豆丝，conflict，分量足）。ASOTE并不能将隐式表达的观点抽成三元组，但是抽取的三元组不能会因为aspect term有隐式表达的观点而变得难以理解，进而给用户和下游模型提供错误信息。
  3. 模型创新确实很重要，不可否认，但创新应该来源于各个方面，而不仅仅是模型吧。
LangDaoAI commented 2 years ago

是的，联合抽取可能会导致每个子任务的F1下降，未必达到鱼与熊掌兼得的水平， 确实pipeline模型工业落地有一定挑战性（至少我这边是实时场景，挑战更大），所以我特别在意pipeline模型， 尤其是底座如果再换成更大的预训练模型。

ATE这一步确实可以不需要通过预训练提取， 传统的依存句法分析也许就可以做到。

ASOTE只抽取显式表达的的观点，并不抽去隐式表达的观点。这里隐式观点，定义为表达含蓄的情感，在标注规范，没法像显式>观点那样标注为一个简单的片段。举个例子，“土豆丝分量很足，但点三次可能只有一次炒得好吃”。这句话里，针对aspect >term，“土豆丝”，有一个显式观点，“分量足”，有一个隐式表达的观点，“有时好吃，有时难吃”。ASOTE的抽取结果是，（土豆>丝，positive，分量足）；ASTE和ASMOTE的抽取结果一样：（土豆丝，conflict，分量足）。ASOTE并不能将隐式表达的观点抽成>三元组，但是抽取的三元组不能会因为aspect term有隐式表达的观点而变得难以理解，进而给用户和下游模型提供错误信息。

这条你可能误解我意思了， 在ACL 2021一篇四元组paper中好像分析了一些代表性数据集中隐式观点的数量或者说工业界中隐式观点的场景并不少见，也符合中文场景复杂多变场景，所以，在隐式观点层面做突破性的尝试往往更加得到青睐， 而且也会有创新型的突破，至少会影响语义层面理解， 我是想说的这个意思。

模型创新确实很重要，不可否认，但创新应该来源于各个方面，而不仅仅是模型吧。

你说的没错，但是对于ABSA领域， 模型创新不同于其他， 因为这个领域联合模型也好， pipline也好， 泛型已经比较卷了， 个人观点而已。

l294265421 commented 2 years ago

这条你可能误解我意思了， 在ACL 2021一篇四元组paper中好像分析了一些代表性数据集中隐式观点的数量或者说工业界中隐式观点的场景并不少见，也符合中文场景复杂多变场景，所以，在隐式观点层面做突破性的尝试往往更加得到青睐， 而且也会有创新型的突破，至少会影响语义层面理解， 我是想说的这个意思。

理解你的意思，只是这个确实超出了ASOTE的范围。

你说的没错，但是对于ABSA领域， 模型创新不同于其他， 因为这个领域联合模型也好， pipline也好， 泛型已经比较卷了， 个人观点而已。

这篇论文的重心一直没放在方法上，当时的出发点就是，对着一个不完善的任务设计模型，应该挺难受吧。看来是想错了。不过，现在换赛道了，不卷ABSA了

LangDaoAI commented 2 years ago

嗯好的，感谢花时间讨论这么多。

l294265421 commented 2 years ago

不客气哈