[2020]Parsing as Pretraining

[tossyi]

Paper Link

https://arxiv.org/abs/2002.01685

https://github.com/aghie/parsing-as-pretraining

Upload

2020/2/5

What is paper about?

Paper Contributions

Key Points

Validate advantages and Effectiveness

Points to discuss

Related Work

[tossyi]

Abstract

言語モデリングのため、事前学習されたEncoderが形態素や構文構造を捉えることが示唆されている。 しかし、単語ベクトルを利用した構成素解析（constituent parsing）や依存性解析(dependency parsing)の例は少ない。

本論文では、英語の構文解析を事前学習のアーキテクチャのみに適用し、Decodingは行わない。 構成素解析（constituent parsing）や依存性解析(dependency parsing)をSequence taggingと捉える。 単一のfeed-forward層を用いて、単語ベクトルを、線形化された木をエンコードするラベルにマッピングする。 目的は以下である。

• 事前学習だけで、どこまで構文モデリングができるか
• 異なる単語ベクトルの構文モデリングに着目

[tossyi]

構成素解析（constituent parsing）

Gomez-Rodrguez and Vilares (2018) は、構成素解析を以下のように定義した。

ラベルを3つのタプルで表現する。

• n_iはwiとw(i+1)に共通する木のレベルの数を表す
• c_iは2つの単語間で共有される最も低い非終端記号(DT,NP,NNなど)を表す
• u_iはw_iに位置する葉の単行枝を符号化（もしあれば）