e4exp
commented
3 years ago 1 はじめに
ニューラル言語モデル1は、近年、自然言語データをモデル化する能力が衝撃的に高くなっています(Merity et al., 2017; Conneau and Lample, 2019; Radford et al., 2019)。 そのため、ニューラル言語モデルがどれだけうまく言語を捉えているかをテストするために、NLP研究者は、パープレキシティなどの標準的な評価指標を超えて、これらのモデルが学習している人間の言語の基礎的な属性を理解しようと努力し始めています。 この目的のために、言語モデルのプロービング（Belinkov and Glass, 2019）、すなわちモデルが言語現象をエンコードしているかどうかを判断することに焦点を当てた新進の文献が登場しています。 ほとんどの場合、これらの研究は、無数の他のプロパティ（Blevins et al., 2018; Chowdhury and Zamparelli, 2018, とりわけ）の中でも、主語と動詞の一致（Gulordava et al., 2018）やガーデンパス効果（van Schijndel and Linzen, 2018）など、文レベルの現象の分析に限られている。 この作品では、今日の言語モデルが人間の言語のどのマクロレベルの現象を反映しているかを理解しようとしています。
すなわち、我々は質問を投げかける。 神経言語モデルは、人間の言語の統計的な傾向を示すのか？ 例えば、形態素の一致が捉えられているかどうかを調べるのではなく、トークンの順位と頻度の関係など、コーパス全体の傾向をモデルが学習しているかどうかを調べます。 標準的なプローブ技術と比較して、このフレームワークでは、言語現象がどのように現れるべきかを先験的に知る必要はありません。 つまり、自然言語の属性の理論的な傾向を示す法則がない場合や、我々の言語領域がそのような法則に従わないと信じる理由がある場合、経験的なデータに存在する統計的な傾向をベースラインとして使用することができます。 この特徴により，長さ分布のようにコーパスに大きく依存する分布に対するモデルの適合性を評価することができ，自然言語の特性に関する先入観がもたらすバイアスを軽減することができます2。
より具体的には，言語モデルから生成されたテキストが人間の言語と同じ経験的傾向に従うかどうかを正確に判断するための実験計画とそれに伴う仮説検証について説明します。 実験の結果、自然言語の傾向に従うかどうかは、モデルのアーキテクチャと生成戦略の両方によって大きく異なることが明らかになった。 例えば、図1では、経験的なタイプとトークンの関係に従うかどうかの度合いが異なるが、これは当惑だけではわからないことである。 今回の結果から、このフレームワークは、今日の言語モデルが人間の言語を捉える上で成功している点と失敗している点をより深く理解するための貴重なツールであることが示唆されました。
我々は，言語モデルがどれだけ自然言語を学習しているかを定量化するための別のアプローチを提案している． この質問に答えるために，我々は言語モデルから生成されたテキストが，言語モデルが学習された人間が生成したテキストに存在する統計的傾向を示しているかどうかを分析する． 言語モデルが自然言語の特定の統計的傾向に適合しているかどうかを評価するためのフレームワークを、有意差検定と組み合わせて提供する。 その結果、ニューラル言語モデルは、検討した統計的傾向のサブセットのみを学習しているように見えるが、理論的な法則よりも経験的な傾向に近いものであることがわかった（存在する場合）。 さらに、異なる分布への適合性は、モデルのアーキテクチャと生成戦略の両方に依存する。 具体的な例としては、核サンプリング方式で生成されたテキストは、標準的な祖先サンプリングで生成されたテキストよりも、自然言語のタイプとトークンの関係をより忠実に反映しており、LSTMからのテキストは、長さ、ストップワード、記号に関する自然言語の分布を驚くほどよく反映しています。