Transformation Networks for Target-Oriented Sentiment Classification(2018)

[magicpieh28]

about this paper

Author: Xin Li, Lidong Bing, Wai Lam, Bei Shi Link: http://aclweb.org/anthology/P18-1087

一つの文の中にいくつかの感情を表している場合、異なる感情を持つターゲット単語を探索し、その感情も分類するタスク。従来のCNNやattentionの問題をCPT(Context-Preserving Transformation)レイヤーを用いて解決したTNetモデルを提案。

aim

problems

• 一つの文に異なる感情表現がいくつも現れた場合、CNNはそれをつかみ出すことができない
• 従来のCNNモデルでは、異なる感情の元になるキーワードの探索ができない
• 従来、LSTMからの表現を平均を取るなどでコンキャットしていたが、文中のターゲット単語ごとにcontributeの程度が異なるので、異なる感情情報をなくしてしまう

  how to solve

• attentionスコアを各文脈単語ごとに別々で決めるTST(Target-Specific Transformation)というcomponentを用いる
• convolutionalレイヤーの入力値を他単語とターゲット間の関連性を測り食わせる
• 平均を取り込ま科の情報の喪失を防ぐため、文章全体ではなく、sentence word単位でターゲット単語の重要性を計算する

model

experiment

datasets

• SemEval ABSA 2014

  • LAPTOP
  • Restaurant

• TWITTER(Dong et al. 2014)

settings

• tokens: lowercased without removal of stop words, symbols or digits
• sentences: zero-padded to the length of the longest sentence in the dataset
• t-test on both Accuracy and Macro-Averaged F1

results

code

https://github.com/lixin4ever/TNet

next

Recurrent attention network on memory for aspect sentiment analysis. In Proceedings of EMNLP. 2017 Deep multi-task learning for aspect term extraction with memory interaction. In Proceedings of EMNLP. 2017 Training very deep networks. In Proceedings of NIPS. 2015a Highway networks. 2015b