parsing, language modelともに非常に良い結果。
識別モデルよりも、生成モデルの方が精度が良い。
author
Chris Dyer♠ Adhiguna Kuncoro♠ Miguel Ballesteros♦♠ Noah A. Smith♥
♠School of Computer Science, Carnegie Mellon University, Pittsburgh, PA, USA
♦NLP Group, Pompeu Fabra University, Barcelona, Spain
♥Computer Science & Engineering, University of Washington, Seattle, WA, USA
{cdyer,akuncoro}@cs.cmu.edu, miguel.ballesteros@upf.edu, nasmith@cs.washington.edu
short summary
識別モデルとしても生成モデルとしても訓練可能なphrase structure tree (句構造）の確率モデルRecurrent Neural Network Grammars(RNNGs)の提案。 言語モデル、構文解析器(parser)として使用可能。
特徴
従来のtransition based parsingのニューラルネットワークのモデルは、bottom-upなやりだったが、RNNGsはtop-down. 識別モデルでは、入力文がinput buffer Bにある状態でスタートするが、生成モデルでは、stackに構文木を構築していくと同時にoutput buffer Tに文を生成していく。 下図：parsingと生成の例
アルゴリズム
以下生成モデルの概要図（識別モデルの場合はT→B）
stackからは、Stack LTSMで特徴抽出、アクション、Tからは普通のLSTMで抽出。 stackにおいて、reduceが実行された時（句の括弧が閉じられた時）、そのsub treeは"pop"される。 その際のcomposition functionとしてbiLSTMを使うが、特徴としては、頭に句のラベルを入力する(下図)
生成モデルをlanguage modelとして使うときは、p(x, y) → p(x)への周辺化を行うが、その際に識別モデルq(y|x)を利用したimportance samplingを用いる。
サンプリング
この手順で、言語モデルとして入力文xに対する確率p(x)が求まる。
生成モデルをparsingに用いるときは、まず識別モデルq(y|x)で入力文xに対する構文木yを複数サンプリングしてきて、それらの中から生成モデルp(x, y)でもっとも生成確率が高いyを出力とする。
results
parsing, language modelともに非常に良い結果。 識別モデルよりも、生成モデルの方が精度が良い。
author
Chris Dyer♠ Adhiguna Kuncoro♠ Miguel Ballesteros♦♠ Noah A. Smith♥ ♠School of Computer Science, Carnegie Mellon University, Pittsburgh, PA, USA ♦NLP Group, Pompeu Fabra University, Barcelona, Spain ♥Computer Science & Engineering, University of Washington, Seattle, WA, USA {cdyer,akuncoro}@cs.cmu.edu, miguel.ballesteros@upf.edu, nasmith@cs.washington.edu
URL
https://arxiv.org/pdf/1602.07776.pdf
year
NAACL2016