magicpieh28 / Paper-Summary

1 stars 0 forks source link

DataStories at SemEval-2017 Task 4: Deep LSTM with Attention for Message-level and Topic-based Sentiment Analysis(2017) #21

Open magicpieh28 opened 5 years ago

magicpieh28 commented 5 years ago

about this paper

author: Christos Baziotis, Nikos Pelekis, Christos Doulkeridis link: https://aclweb.org/anthology/S17-2126

topic-basedとmessage-levelに分けattentionをかます手法。 message-levelのためには2層のbi-LSTMを用いて、topic-basedのためにはSiamese bi-LSTMを用いる。 SNSのテキストデータのための前処理ツールを使用(トークン化、単語正規化、スペル修正)。 hand-crafted特徴は一切用いてないらしい(*個人的に、絵文字の感情を勝手に決めるのはhand-crafted特徴じゃないの?と思っている)。 image

aim

model

image image image image

experiments

ミニバッチ:128 最適化:Adam gradientのnorm:5(学習率のチューニングのため)

MSA Model

embedding size: 300 LSTM size: 150 Gaussian noise: 0.2 dropout: 0.3 at the embedding layer, 0.5 at the LSTM layers, 0.25 at the recurrent connections of the LSTM L2正規化:0.25

TSA Model

embedding layer: 300 LSTM size: 64 Gaussian noise: 0.2 dropout: 0.3 at the embedding layer, 0.2 at the LSTM layer and the recurrent connection of the LSTM, 0.3 at the attention layer and Maxout layer L2正規化:0.001

results

image image

code

前処理ツール:http://github.com/cbaziotis/ekphrasis モデル:http://github.com/cbaziotis/datastories-semeval2017-task4