Simple Unsupervised Summarization by Contextual Matching

言語モデルのみを利用したシンプルな教師なしの生成型要約手法を提案。ここでは、Contextual Matching ModelとDomain Fluency Modelの2つの言語モデルを利用して要約文を生成している。生成型要約および抽出型要約の2つのタスクで、提案手法の有用性を示した。

文献情報

著者: Jiawei Zhou, and Alexander M. Rush
リンク: https://arxiv.org/abs/1907.13337
学会: ACL2019
コード: https://github.com/jzhou316/Unsupervised-Sentence-Summarization

手法

要約では、次の2つの特性を満たしている必要がある。

正確性: 元テキストの意味を保持している
流暢性: 目的のドメインに関して、文法的に正しく理解可能

これらを本手法では、次式のように定式化する。 $P({\bf y}|{\bf x}) \propto p_{cm}({\bf y}|{\bf x})p_{fm}({\bf y}|{\bf x})^{\lambda}$

ここで、 $\bf x$ は入力テキスト、 $\bf y$ は要約文を表す。また、 $p_{cm}({\bf y}|{\bf x})$ は正確性の評価であり、 $p_{fm}({\bf y}|{\bf x})$ は、流暢性の評価を表す ( $\lambda$ はハイパーパラメータ)。以下で、それぞれの詳細を述べる。また、出力語彙Cは、元テキストに含まれる語及びベクトル空間上でその近傍にあるk語 (論文中では、k=6)のみに制限している。

Contextual Matching Model

正確性は、元テキストと要約文の文脈類似度によって評価する。文脈の類似度は、言語モデルの最終出力系列のコサイン類似度によって計算する。ここで、文脈の類似度を $S(x_{1:m}, y_{1:n})$ と表すこととする。このとき、 $x_{1:m}$ , $y_{1:n}$ 　はそれぞれ系列長mの入力テキスト、系列長nの要約文を表す。

$p_{cm}({\bf y}|{\bf x}) = \prod^{N}_{n=1}q_{cm}(y_n|{\bf y_{<n}}, {\bf x})$

実際に生成を行う際には、以下の手順に従う。

n=1のとき
- 出力語彙集合と元テキストの語彙集合との類似度 $s_{\omega} = max_{j\geq 1}S(x_{1:j}, \omega)$ を計算する。
- 出力分布 $q_{cm}(y_{1}=\omega|x) = softmax({\bf s})$ を計算する。
- $y_{1}$ に対応付く元テキストの単語位置 $z_{1} = argmax_{j\geq 1}S(x_{1:j}, y_{1})$ を求める。
n > 1のとき
- step1と同様に類似度 $s_{w} = max_{j>z_{n-1}}S(x_{1:j}, [y_{1:n-1}, \omega])$ を計算する。
- ただし、 $z_{n-1}$ 以降の単語しか考慮しない。これは、要約タスクにおける単調性( $z_{n-1}<z_{n}$ )を仮定しているためである。
$y$ が元テキストの末尾に対応付くまでstep2を繰り返す。

Domain Fluency Model

言語モデル確率を利用して、流暢性の評価を行う。しかしながら、事前学習済みの言語モデルの語彙Vと出力語彙Cではサイズが異なり、適切に言語モデルが計算できない。そこで、Voronoi partitionにより語彙Vを制約を設けた語彙Cにマップさせる。ここで、 $y_{n}$ のvoronoi cell ${\it N(y_{n})}$ をとしたとき、言語モデルは次のように計算される。

$p_{fm}({\bf y}|{\bf x}) = \prod^{N}_{n=1}\sum_{\omega'\in{\it N(y_{n})}}lm(\omega'|{\bf y}_{<n})$

Results

教師あり学習のモデルに匹敵する性能を達成。

tm4roon / survey