Coupled Multi-layer Attentions for Co-Extraction of Aspect and Opinion Terms(2017)

[magicpieh28]

about this paper

Author : Wenya Wang, Sinno Jialin Pan, Daniel Dahlmeier, Xiaokui Xiao Link : http://www.aaai.org/Conferences/AAAI/2017/PreliminaryPapers/15-Wang-W-14441.pdf

aspect用・opinion用のアテンション別に用意し、マルティレイヤを使いaspect単語とopinion単語を同時に抽出してみようという論文。

what are problems they want to solve?

problems

Deep Learningベースの手法の場合、各tokenごとにhigh-levelの表現を学習させるために分類器を訓練。 しかし、このためにparserの分析結果(構文論的・意味構造的知識)をエンコードする必要があが、計算機のparserでは、人間の生成した文の構文的・意味構造的知識を正確に分析するのは不可能。 また、時間がかかりすぎる。

how to solve

parserや付加的な言語知識を必要としないend-to-endモデル(CMLA)を作る。 特に、アテンションネットワークをマルチレイヤにし、1つのレイヤ当たり2つのアテンションをかける。これにはtensor演算子を使用する。 アテンションはaspect用とopinion用に分かれていて、aspect単語とopinion単語の情報を相互学習する。

model architecture

1. 各文章ごとにアテンションの組を持つ。
2. 各アテンションはprototypeベクトルの学習を目指す。
3. tokenごとにhigh-levelの特徴ベクトルを学習する。
4. 一つの文章のtokenごとにアテンションのスコアを与えながら学習を進める。
5. 特徴ベクトルとアテンションのスコアはtensor演算子を用いたprototypeベクトルとインプットのtokenの関係性を測定することに使う。
6. prototypeベクトルは、与えられたほかの文脈をつかみ取る。
7. 学習時に、aspectアテンションとopinionアテンションの情報を二重にpropagateするために、二つのアテンションはつながる。これはdirect関係を分析するため。
8. indirect関係を分析するために、レイヤを複数にする。

左のフィギュアがモデル。右のフィギュアはt+1番目のレイヤのprototypeベクトル。

　　　　　 　

experiment

dataset

SemEval-14 Restaurant SemEval-14 Laptop SemEval-15 Restaurant

setting

SemEval-14 RestaurantとSemEval-14 Laptopは(Wang et al. 2016)からのopinion単語をラベリング。 SemEval-15 Restaurantは、すべてのopinion単語をラベリング。 レストランドメインにはYelp Challenge datasetをword2vecかけたものを適用し、LaptopドメインにはAmazon Reviewsのelectronic domainを用いた。 レストランドメインのワードエンベディングの次元数：200 Laptopドメインのワードエンベディングの次元数：150 レイヤ当たり隠れユニット数(3つのデータセットに同一に適用)：50

result

　　　　　　　　　　　　

conclusion

tensor演算子を使用し、parserと付加的言語知識を必要としないモデルを作った。 マルチレイヤは間接的意味関係を抽出することに役立つ。

what's next

code

https://github.com/happywwy/Coupled-Multi-layer-Attentions