Document Modeling with Gated Recurrent Neural Network for Sentiment Classification, Tang+, EMNLP'15

[AkihikoWatanabe]

http://aclweb.org/anthology/D15-1167

[AkihikoWatanabe]

word level -> sentence level -> document level のrepresentationを求め、documentのsentiment classificationをする話。 documentのRepresentationを生成するときに参考になるやも。 sentenceのrepresentationを求めるときは、CNN/LSTMを使う。 document levelに落とすことは、bi-directionalなGatedRNN(このGatedRNNはLSTMのoutput-gateが常にonになっているようなものを使う。sentenceのsemanticsに関する情報を落としたくないかららしい。)を使う。 sentiment classificationタスクで評価し、(sentence levelのrepresentationを求めるときは)LSTMが最も性能がよく、documentのrepresentationを求めるときは、standardなRNNよりもGatedRNNのほうが性能よかった。