[2017]Faithful to the Original: Fact Aware Neural Abstractive Summarization

[IkokObi]

ざっくり言うと

• 文書要約タスクにおいて，要約された文章が元の文章と相反していないかに焦点を当てた研究．
• 要約文章の信頼性を向上させ，なおかつSOTAを出している．
• abstractive summarization

  キーワード

• NLP
• sentence summarization
• abstractive summarization
• attention

1. 情報

論文リンク

https://arxiv.org/abs/1711.04434

著者

Ziqiang Cao, Furu Wei(Microsoft), Wenjie Li, Sujian Li

投稿日付

2017/11/13

2. 先行研究と比べてどこがすごい？

• 生成された文章が元の文章と相反する率が大幅に減少
• Gigawordにおいて，SOTAを達成

3. 技術や手法のキモはどこ？

• OpenIEを用いて，文章のtripleを抽出(subject; predicate; object)
• OpenIEは必ずしもtripleを抽出出来るわけではないので，構文木も併用
• 元の文章とfact(relation)との2つを用いたDual-Attention decoder
• 元の文章とfactの信頼性の比率を調節するゲートを入れることで精度向上

4. どうやって有効だと検証した？

• GigawordをROUGEで評価
• ベースラインモデルとして以下を使用
  • ABS, ABS+: Attentionを導入した要約モデル(過去に読んだ論文)
  • RAS-Elman: ABSを拡張したモデル
  • Feats2s: RNNのs2sモデルにPOS tagとNERを特徴量として追加
  • Luong-NMT: 2層LSTM翻訳モデル
  • att-s2s: スタンダードなAttention付きs2s
• 人手の評価で，100個のテストデータに対して，信頼性の評価(3カテゴリ:FAITHFUL/FAKE/UNCLEAR)を行なっている

5. 議論はある？

• OpenIEの抽出結果として長い文章が複数得られる場合に，どれか1つのみを採用して文の情報量が落ちやすい
• copying機構やcoverage機構を導入することで上の問題や要約に適したモデルへ発展させることを計画している

6. 次に読むべき論文は？

• Abstractive sentence summarization with attentive recurrent neural networks

  • Sumit Chopra, Michael Auli, Alexander M. Rush
  • https://aclweb.org/anthology/papers/N/N16/N16-1012/
  • ABSの発展モデルの論文

• Joint Copying and Restricted Generation for Paraphrase

  • Ziqiang Cao, Chuwei Luo, Wenjie Li, Sujian Li
  • https://arxiv.org/abs/1611.09235
  • 議論に挙げたCopyNetの論文

• Get To The Point: Summarization with Pointer-Generator Networks

  • Abigail See, Peter J. Liu, Christopher D. Manning
  • https://aclweb.org/anthology/papers/P/P17/P17-1099/
  • coverage機構の論文

[IkokObi]

7. 実装の詳細

• OpenIEで抽出される例

  

• モデルの全体像

• 元の文章(Sentence)と関連する事実(Relation, OpenIEで抽出された文)がDual-Attentionでdecoderに取り込まれる

• Dual-Attentionでは，SentenceとRelationのどちらを重視するかを調節するgate関数を用いたモデルの精度が良い

• decoderではbeam-searchで生成している

  

[IkokObi]

8. データセット

• Gigaword
  • ニュースのタイトルと記事の1文目がセットになっている
  • タイトルの長さはおおよそ8.5単語
  • 1文目の長さはおおよそ31単語
• 学習データ
  • 3,800,000のタイトル-1文ペア
• Validationデータ
  • 1,890ペア
• テストデータ
  • 2,000ペア
• 評価指標はROUGEによる自動評価
  • ROUGE-1(unigram), ROUGE-2(bigram), ROUGE-L(lcs)のF1をスコアとしている
  • unigram, bigramは情報量の多さに繋がる
  • lcsは文の読みやすさに繋がる

9. 結果の詳細

• スコアの表

  

• 信頼性の評価

  

• 生成された要約文の例

  

[IkokObi]

雑感&メモ

• OpenIEについては下のページに分かりやすく解説されている
  • https://hironsan.hatenablog.com/archive/category/%E6%83%85%E5%A0%B1%E6%8A%BD%E5%87%BA
• 日本語のOpenIEは難しいとのことで，そのままは応用が出来ない