言語モデリングのサーベイ

[IKKO-Ohta]

ベースライン手法

http://aclweb.org/anthology/P/P17/P17-1126.pdf Murakami, 2017 encoder-decoder モデル

キャッチアップしたい言語モデル

https://arxiv.org/pdf/1602.07776.pdf C Dyer,2016 RNNG

[IKKO-Ohta]

(C Dyer,2016)が何を言っているのか分からなかったため、前準備として(C Dyer,2014)transition-based Dependency parsing with stacked LSTM,https://arxiv.org/pdf/1505.08075.pdf にキャッチアップしたいと考えている。 一見dependency parsingと言語モデルで関わり合いがなさそうに見えるが、後者の理解を深めるにつれて前者の性質は後者に確かに受け継がれているようで感触は悪くなさそう。 この作業の経過はparsing/以下で見られる。

[IKKO-Ohta]

https://github.com/IKKO-Ohta/e2l/blob/master/parsing/bin/nltk_parsing.ipynb ローカルで動かしたmini版。 サーベイの傍ら、mmsで大きいサイズを叩いておく予定。

[IKKO-Ohta]

プログラムは書いたので、動くかどうかがissue#4に依存。

[IKKO-Ohta]

transition based についての現状のまとめ

• 大ざっぱに言うと、文を受け取ってアクション記号列として返すプログラム
• アクション記号列について、たとえばarc-standardなら[shift,Right reduce, Light Reduce]の３アクションとなり、arc-eagerなら[shift, right arc, left arc, remove]の４アクション、そしてRNNGでは[NT(タイプ生成), shift, reduce, generate]となる。
• アクション記号列によって木構造が生成できるよね、という考え方

transition based dependency parsing with LSTM

• arc standardのアクション集合を用いる
• 最終的なアクション分類では重み付き線形判別に落とし込む
• ある時刻tでの線形分類器への入力P_tは P_t = f (現在の部分木,バッファの残り,アクション履歴) で構成される。それぞれの引数はLSTMによってencodeされている。 このときの関数fも重み付きの線形結合である。
• よって、parser本体が必要とするパラメータは、アクションごとの重みと、３つのバッファごとの重みの２つに過ぎない（？）

RNNG

• gen アクション以下のコードリーディング

疑問点

• stacked LSTM モデルのソースコードリーディング/できれば本家をラッパーして使いたい気持ちはある
• stacked LSTMはどう関係しているのか？ エンコードに用いられているか？
• ふたつの重みはどうやって計算されているか？　特にアクションのほうの重みには一工夫が入っているようで、簡単ではない