about this paper

Author: Peng Chen, Zhongqian Sun, Lidong Bing, Wei Yang Link: http://aclweb.org/anthology/D17-1047

レビュー文の中で示される感情表現が指しているaspectを探索するタスク。 bi-LSTM(GRUを用いており、input memory修正済み)とattention(レイヤーの数を増やしながら実験)のモデルを提案

aim

problems

labor-intensive特徴エンジニアリングをする必要がある
訓練コーパスが十分用意されないとターゲット単語と遠くにある感情表現はLSTMでは取りにくくなり、結局は特徴を失ってしまう
特定ドメインの訓練コーパスはツイッターなどでのみ学習がうまくできてる
LSTMの諸問題
- 一つの文にいくつかの感情表現が現れた時、LSTMではこの二つの特徴値を合成することはできない（synthesize）
- 一般のLSTMでは一つのターゲット文にいくつかの感情表現が現れた時、ターゲット単語のそれぞれの感情表現を予測することは不可能
attentionの諸問題
- attentionレイヤーが一つだけだとLSTMの問題は解決できない
- attentionレイヤーが多数あるとしても、以前レイヤーから最終値だけを取ってくる手法でもまだ解決不可能
- (Kumar et al., 2015)のattention構造は複雑

how to solve

GRUのinput memoryを改造する
attentionレイヤーを増やし、以前レイヤーの最終値だけではなく、隠れcellのメモリーとepisode(ハイパータンジェントで計算された値：本文の方程式(10)を参照)を結合し、各レイヤーから得られた値と合成する
正規化したattention分布を提供する
一般ドメインで学習する

model

experiments

datasets

SemEval 2014(Laptop, Restaurant) collection of tweets(Dong et al., 2014) Chinese news comments

settings

あらかじめ訓練されたGloVeの300次元の単語embedding使用中国語：CBOWと1.4billionのトークンを持っているコーパスで訓練訓練iteration：100 attentionレイヤー数：1〜5 embedding：チューニングしたものとしなかったもの

results

RAM-3AL-T-R: あらかじめ訓練されたembeddingは使用しない、ランダムに初期化、訓練時にチューニング RAM-3AL-T: あらかじめ訓練されたembeddingを初期値として使用、訓練時にチューニング RAM-3AL-NT: あらかじめ訓練されたembeddingをしようしたが訓練時にチューニングは行なっていない

code

ない

Clause sentiment identification based on convolutional neural network with context embedding. In ICNC-FSKD. 2016 On the properties of neural machine translation: Encoder-decoder approaches. CoRR. 2014 Phrase RNN: Phrase recursive neural network for aspect-based sentiment analysis. In Proceedings of 2015 EMNLP

magicpieh28 / Paper-Summary

Recurrent Attention Network on Memory for Aspect Sentiment Analysis(2017) #17