Transition-Based Dependency Parsing with Stack Long Short-Term Memory

[kacky24]

short summary

transition-based dependency parsingにおいて、stack LSTMを含む、parserの状態を表す表現を学習する手法の提案。

stack LSTM

pop: stack pointerを1つ前のcellに移動する push: stack pointerが付いているcellに新しく入力する

shift処理では、bufferから１単語取ってきてstack LSTMに入力する(push) reduce処理では、stackの上から2つ(head, dependency or dependency, head)取り出して以下のcomposition functionを適用

その後、その2つのcellの前のcellに対してcompositionしたcを入力する(pop, pop, push) これを繰り返すことで、bottom upにrecursive neural networkのような処理を行っている。

parser全体の学習

stack LSTM コードサンプル(dynet)

https://github.com/neubig/nn4nlp-code/blob/master/12-transitionparsing/stack_lstm.py

author

Chris Dyer♣♠ Miguel Ballesteros♦♠ Wang Ling♠ Austin Matthews♠ Noah A. Smith♠ ♣Marianas Labs ♦NLP Group, Pompeu Fabra University ♠Carnegie Mellon University chris@marianaslabs.com, miguel.ballesteros@upf.edu, {lingwang,austinma,nasmith}@cs.cmu.edu

URL

http://aclweb.org/anthology/P/P15/P15-1033.pdf

year

ACL 2015