[2017]Get To The Point: Summarization with Pointer-Generator Networks

[IkokObi]

ざっくり言うと

• seq2seqモデルに，元の文章をコピーするpointer-generatorネットワークを追加
• 同じ文章を繰り返さないようにcoverage機構を追加
• 文書要約の精度向上(先行研究が少ないのでSOTAかどうかの比較がしづらい)
• abstractive summarization

  キーワード

• NLP
• document summarization
• abstractive summarization
• attention

1. 情報

論文リンク

https://arxiv.org/abs/1704.04368

著者

Abigail See, Peter J. Liu (Google), Christopher D. Manning

投稿日付

2017/4/25

2. 先行研究と比べてどこがすごい？

• 従来モデルには下の3つのような欠点があった
  • 元の事実を誤った形で要約に組み込んでしまう
  • Vocabulary外の単語の扱いが難しい
  • 同じ文章を繰り返す傾向が見られる
• 3つのうち上2つをpointer-generatorにより改善
• 残りの1つをcoverage機構で改善
• pointer-generatorのおかげでvocabularyサイズを少なくすることができ，学習時間が少なくて済む

3. 技術や手法のキモはどこ？

• 要約文章を生成する過程において，単語を生成するか元の文章からコピーするかを判断するpointer-generator機構
• それまでに生成してきた過程のattention weightを取って置くことで，同じ内容を生成しないようにするcoverage機構

4. どうやって有効だと検証した？

• CNN/Daily Mail datasetの文章要約でROUGEとMETEORでスコアを計算
• 既存のabstractiveモデルよりも高い性能(ただし，input文章のmaskingをしていない点で，同等の比較にはなっていない)

5. 議論はある？

• extractionモデルに対してスコアが劣る理由として，ROUGEのスコア評価方法がabstractionに不利になっている点を挙げている
  • 教師データとのunigram等で比較するので，抽象化してparaphrase等を用いるとスコアが落ちる
  • そこそこ長い文章を要約したときに，いくつか要約の候補はあるが，1つしか正解データが存在しない
• pointer-generatorを追加したことで，abstractionモデルと言いつつ，元の文章をコピーする比率が高くなっている(元の文で現れない単語を使う率がとても低い)

6. 次に読むべき論文は？

• Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond
  • Ramesh Nallapati, Bowen Zhou, Cicero dos Santos, Caglar Gulcehre, Bing Xiang
  • https://aclweb.org/anthology/papers/K/K16/K16-1028/
  • 文章要約タスクにNNを適用した最初の研究(baselineモデル)
• Pointer Networks
  • Oriol Vinyals, Meire Fortunato, Navdeep Jaitly
  • https://papers.nips.cc/paper/5866-pointer-networks
  • Pointer networkの元論文
• Temporal Attention Model for Neural Machine Translation
  • Baskaran Sankaran, Haitao Mi, Yaser Al-Onaizan, Abe Ittycheriah
  • https://arxiv.org/abs/1608.02927
  • coverage機構の発想と関連するtemporal attention

[IkokObi]

7. 実装の詳細

• pointer-generatorモデルの全体像

  

• pointer-generatorモデルが組み込まれる部分の数式

  • 持っているvocabularyから生成する割合とsourceの文章からコピーする割合を調節する

• coverage機構が組み込まれる部分の数式

  • 通常のattentionを計算する部分に，過去のattentionのsumが加わる形

• pointer-generatorモデル及びcoverage機構を組み込むことによるパラメータ数の増加は微々たるもので，元々21,499,600個あったところに1,153個追加されるだけ

[IkokObi]

8. データセット

• CNN/Daily Mail
  • train : validation : test = 287,226 : 13,368 : 11,490

9. 結果の詳細

• スコア

  

• 既存のモデルの問題点と，それらを解決する提案手法の具体例

  

[IkokObi]

雑感&メモ

• 実装あり(www.github.com/abisee/pointer-generator)
• 既存の問題点に対してストレートに解決策を提示している部分はとても分かりやすい