smiyawaki0820 commented 4 years ago

1. どんなもの？

（タスク）述語項構造解析

（手法）

格フレームを用いて，述語の格候補とテキスト中に出現した要素の対応づけを評価
対応づけ評価には対数線形モデルを用いる
構文的選好として照応関係，語彙選好性として格フレームを素性とする

モデルの提案というよりは，素性を増やした

2. 先行研究と比べてどこがすごい？

先行研究：Sasano and Kurohashi, 2006

語彙的選好（格フレーム）を用いた ZAR の確率モデル

対象述語の格フレームを一つ選択
dep 関係にある談話要素を格フレームのスロットと対応づける
対応しない格と，dep 関係にない談話要素との対応付けを ZAR として候補を生成

（識別モデルに基づく対応付けの評価）

述語に対する格フレーム候補と談話要素の対応づけを確率的に評価
🙅‍♂️評価の際，独立性を仮定し，語彙的選好および構文的選好を分解，それら積を取ることで評価
分解するため，新たな素性（既存の素性と重複するような手がかりなど）の導入が困難
格の種類による重要性の違いを考慮できない（ガ格: 構文的手がかり，ヲ格: 語彙的手がかり）

提案手法

（識別モデルに基づく対応付けの評価）

重み Λ の線形層にかけられた，encoder F から出力されるベクトル F(•) に対して，
全ての取りうる cf, a に対して softmax 的なことを考える．

3. 技術や手法のキモはどこ？

4. どうやって有効だと検証した？

Web テキストを対象とした実験
素性ごとの学習された重みや，素性ごとの ablation により，格ごとに有効となる素性の傾向を明らかにする
マージ格フレーム（述語における全ての語義をまとめて考慮）と通常の格フレームとの比較により，複数項の選好性における比較を行う

5. 議論はある？

6. 次に読むべき論文は？

smiyawaki0820 commented 4 years ago

paper

Sasano and Kurohashi. 2011 (ACL)
https://www.aclweb.org/anthology/I11-1085/"
大規模格フレームを用いた識別モデルに基づく日本語ゼロ照応解析

abstract

格フレームを用いて，その述語が取りうる全ての格とテキスト中に出現した要素の対応づけを全体で評価することで，述語項構造解析を行う
対応づけ評価には，対数線形モデルを用いる
構文的手がかり（照応関係） + 語彙的手がかり（格フレーム）を素性とする

bib

@inproceedings{sasano-kurohashi-2011-discriminative, author = {Sasano, Ryohei and Kurohashi, Sadao}, title = {A Discriminative Approach to {J}apanese Zero Anaphora Resolution with Large-scale Lexicalized Case Frames}, booktitle = {Proceedings of 5th International Joint Conference on Natural Language Processing}, year = {2011}, url = {https://www.aclweb.org/anthology/I11-1085}, pages = {758--766}, }

smiyawaki0820 commented 4 years ago

Introduction

構文的選好 (syntactic)

述語の知識によらない一般的知識（照応関係）

語彙的選好 (semantic)

述語ごとに異なる知識（格フレーム）
例えば「伸ばす」についても「背を伸ばす」だと人が選好されやすい

[Sasano and Kurohashi, 2006]

🙆‍♂️語彙的選好（格フレーム）を用いたゼロ照応解析の確率モデル
🙅‍♂️重複を持つ素性の導入が困難

In This Paper

大規模格フレームに基づくゼロ照応解析を対数線形モデルを使ってモデル化

重複を持つ素性が利用可能
素性ごとの重要性の違いを考慮可能なゼロ照応解析モデルの構築
パラメータ推定時に適切な格フレームの推定も同時に行う

smiyawaki0820 commented 4 years ago

ベースライン

A Fully-Lexicalized Probabilistic Model for Ja ZAR Sasano and Kurohashi, 2006 (ACL)

語彙的選好のための知識として格フレームを用いたゼロ照応解析の確率モデルを提案
共参照関係の認識を行い，テキスト中に出現する談話要素を特定
解析対象の述語に対して，考えうる全ての格フレームと談話要素の対応づけを確率的に評価
もっとも確率が高い対応づけをその述語の解析結果とする
確率的評価の際，独立性を仮定し，複数の語彙的選好をあらわす部分と構文的選好を表す部分に分解，それらの積を取ることで最終評価を求める

[問題点]

独立性を仮定し種々の選好を表す部分に分解しているため，新たな素性（既存の素性と重複するような手がかりなど）の導入が困難
格の種類による重要性の違いを考慮できない（ガ格: 構文的手がかり，ヲ格: 語彙的手がかり）

smiyawaki0820 commented 4 years ago

Related Work

格フレーム構築

Seki et al., 2002 (COLING)

人手作成格フレームを用いた ZAR の確率モデル

Kawahara and Kurohashi, 2004

人手作成格フレームの用例スパースネスを解消するため，大規模コーパスから自動構築した格フレームを省略格の検出・先行詞の道程に利用する ZAR モデル（各用例の出現頻度は考慮しない）

Iida et al., 2007

ゼロ代名詞とその先行詞の間の統合的パターンを利用した機械学習に基づく手法
述語と解析対象の格に関する情報を使用（複数の格を考慮した知識は使用しない）

Taira et al., 2008 (EMNLP)

意味役割とゼロ照応関係を含む PAS を決定リストを用いて解析する手法

Imamura et al., 2009 (ACL)

ZAR を含む PAS 解析の対数線形モデル（格ごとに別々の評価）

吉川 et al., 2010 (NLP)

Markov Logic Network を用い，局所的な選好と大域的な選好を考慮した Ja-PAS 解析モデル
大域的な選好を取り入れることで複数の項を同時に考慮
計算量の観点から文間ゼロが困難
Markov Logic Network の性質から PMI のような実数素性を取り入れるのが困難

Ferrandez and Peral, 2000 (ACL)

スペイン語のゼロ照応を対象
人手で記述したルールを用いて照応性判定と先行詞同定を行う手法を提案

Zhao.19

中国語の ZAR のための機械学習に基づく手法

Kong.9

ZAR をゼロ照応の検出，照応性の判定，先行詞同定の3つのサブタスクに分割
これらを統合的に解析するカーネルベースの手法

smiyawaki0820 commented 4 years ago

大規模格フレームと用例の汎化

格フレームの用例汎化

JUMAN6.0 の辞書に付与されている 22種類のカテゴリ情報（CT）
IREX で定義された 8種類の NE これらの属性を持つ用例がどのくらいの割合を占めるかの情報を考慮できるよう，Kazamaらが導入した確率的クラスタリング法によりクラスタリングされた意味クラス（CL）を用いた格フレームの用例の汎化を行う．
```
CL:32   子供（0.974），幼児（0.738），...
```

smiyawaki0820 commented 4 years ago

識別モデルに基づく ZAR

提案モデル概要

候補ごとの確率的評価方法を除き，Sasano らと同様の手順で行う．

形態素解析，NER，構文解析
共参照解析による，テキスト中に出現した談話要素の認識
入力一文ごと，文末述語から順に，格フレームと談話要素の対応づけ候補を生成（対応づけは PAS 全体で評価する）
- 対象述語の格フレームを一つ選択
- dep 関係にある談話要素を，格フレームのスロットと対応づける
- これら対応づけ候補に対し，対応づけられなかった格と，dep 関係にない談話要素と対応づけを行うことで，ZAR を考慮した対応づけ候補を生成

例：息子は悪戯が好きで私も（φni）手を焼いている．

「焼く」に対して格フレームを選択
dep である「私・手」を評価スコアを元に格フレームと対応づける（足切りも行う）
dep 以外の項から，未選択の二格に対して対応づけを行う
対応付けにおける確率的評価が最も高い 5番を PAS として出力する

識別モデルに基づく対応づけの評価

（既存）

Sasano らは独立性を仮定し，分解した複数の語彙的選好および構文的選好部分の確率評価値の積を取ることで，各候補の確率的評価を行なっている．

（提案）

入力文 t, 対象述語 p が与えられたときの，格フレーム cf ，格フレームと談話要素の対応付け a の条件付き確率を求める
以下の対数線形モデルで表現する
F（素性関数で構成されるベクトル），Λ（素性関数に関する重み），C(p,t)（p の格フレーム cf'と，cf' と談話要素との対応関係 a' を返す）

重み Λ の線形層にかけられた，encoder F から出力されるベクトル F(•) に対して，
全ての取りうる cf, a に対して softmax 的なことを考える．

パラメータ推定

セット数 N の (a, p, t) からなるインスタンス
事後確率を最大とするような格フレーム cf とパラメータ Λ の組み合わせを求める
CF（各インスタンスの取りうる格フレームの組み合わせ）

smiyawaki0820 commented 4 years ago

softmax 関数

smiyawaki0820 commented 4 years ago

使用する素性

格解析スコアを除く素性は，格ごとに計算（dep によって埋められなかった場合に計算）

語彙的選好性を反映する素性

汎化用例 PMI = {意味クラス, カテゴリ, 固有表現} PMI

以下 PMI : 先行詞がどれくらい対象格スロットに対応づけられやすいかどうかを表す（大規模格フレームより計算）→ Sasano らが考慮できなかった互いに重なりを持つ素性

格解析スコア

dep と格スロットとの対応の確からしさを，構文・格解析の統合的モデル（河原 and 黒橋, 2007）に基づき，述語一つに対して計算する

（第一項）格フレーム cf_i の生成確率（大規模コーパスの格解析結果より推定）
（第二項）格の対応関係 CA_k の生成確率

格の対応関係生成確率：

P(A(sj)={0,1} | cfi, sj)：格スロット sj の生成確率（大規模コーパスの格解析結果より）
A(sj)：格スロット sj が入力側 t の格要素に対応づけられているかどうか
P(nj, cj | cfi, sj, A(sj)=1)：格スロット sj が対応付けられている場合に，その各要素が nj，表層格が cj となる確率

（第一項）（格フレームから計算）
（第二項）表層格生成確率（PAS が付与されたコーパスから計算）
用例 PMI
ある格スロットにどのくらい先行詞が入りやすいか

対象の格スロットと先行詞候補の PMI

log{ P(子供| cf: 焼く(2), 二格) / P(子供) }

意味クラス PMI
対象格フレームの意味クラスと，先行詞候補の意味クラスとの PMI
```
log{ P(CL-32| cf: 焼く(2), 二格) / P(CL-32) }
```
カテゴリ PMI
対象格スロットのカテゴリ情報と，先行詞候補のカテゴリ情報との PMI（先行詞候補にカテゴリが付与されている場合）
```
log{ P(CT-人| cf: 焼く(2), 二格) / P(CT-人) }
```
固有表現 PMI
対象格スロットの NEと，先行詞候補のNE との PMI（先行詞候補が NE である場合）
```
log{ P(NE-人| cf: 焼く(2), 二格) / P(NE-人) }
```
対象格の埋まりやすさ
格フレームのそれぞれの格の埋まりやすさは，その格が明示されていない場合に，zero なのか，単にその格が考慮されていないかの手がかりとなる

焼く	省略格	用例（頻度）	埋まりやすさ	したがって
焼く(1)	ニ	おやつ: 35, -	埋まりにくい	単に考慮されてない
焼く(3)	ニ	CD: 3106. -	埋まりやすい	zero として省略されている

対象格が zero として先行詞と対応づけられた場合

対象の格スロット sj が dep 語によって埋められる確率を素性とする
ln{ P(A(sj)=1 | cfi, sj) }

対象格が zero として先行詞と対応づけられなかった場合

対象格の格スロット sj が dep 語によって埋められない確率を素性とする
ln{ 1 - P(A(sj)=1 | cfi, sj) }

smiyawaki0820 commented 4 years ago

使用する素性

構文的・談話的選好性を反映する素性（二値表現）

先行詞の出現格と位置に関する素性
85 (64+21) 次元の二値ベクトル（対応すれば 1）
先行詞の顕現性に関する素性
談話要素の顕現性は照応関係を解く上で有力な手がかりとなる(Lappin and Leass, 1994 ; Mitkov et al., 2002)

以下のルールで顕現性を近似計算（1 以上であれば 1 とする二値）

+2.0 : 文末 or 副助詞「は」を伴う
+1.0 : 読点 or 格助詞「が」「を」を伴う
×0.5 : 文区切りを通過

他？

対象の格が対応付けられたかどうか

対象格が zero として先行詞と対応付けられたら 1
この素性に対する重みは，それぞれの格がどれくらい埋まりやすいかを調整する

smiyawaki0820 commented 4 years ago

実験

京都テキストと同じ基準で照応関係タグを付与したデータ（Webコーパス）
NTC（原形に戻した場合の格が付与されていることから，受け身・使役の述語を解析対象外とする）

実験

Sasano（ベースライン）
各用言の各フレームを一つにまとめた格フレーム（マージ格フレーム）：各用例の頻度のみを考慮するため，複数項の選好性を考慮しない

結果

選好性を考慮した方が良い

素性の ablation

先行詞の出現格と位置に関する素性
汎化用例では減少した（組み合わせ）
顕現性素性によって捉えられる選好は，出現格・位置に関する素性に含まれている可能性がある

各素性に対して学習された重み

ヲ・ニ格の場合，その格が埋まりやすい用言とそうでない用言が存在し，そのような語彙的情報が ZAR においても重要な手がかりとなる
ガ格が埋まるかどうかは，語彙的情報よりも先行詞の出現位置などの影響が強い
ガ格に関する語彙的選好の粒度が大きい（大きな意味クラスに関する情報が重要）

cl-tohoku / showcase_miyawaki

A Discriminative Approach to Japanese Zero Anaphora Resolution with Large-scale Lexicalized Case Frames #4

1. どんなもの？

2. 先行研究と比べてどこがすごい？

先行研究：Sasano and Kurohashi, 2006

提案手法

3. 技術や手法のキモはどこ？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

paper

abstract

bib

Introduction

In This Paper

ベースライン

Related Work

大規模格フレームと用例の汎化

格フレームの用例汎化

識別モデルに基づく ZAR

提案モデル概要

識別モデルに基づく対応づけの評価

パラメータ推定

使用する素性

語彙的選好性を反映する素性

使用する素性

構文的・談話的選好性を反映する素性（二値表現）

他？

実験

結果