[2015]A Neural Attention Model for Sentence Summarization - Githubissues

karakuri-ai / paper-readings

repository to research the machine learning papers

2 stars 1 forks source link

[2015]A Neural Attention Model for Sentence Summarization #1

Open IkokObi opened 5 years ago

IkokObi commented 5 years ago

ざっくり言うと

Attention機構を取り込んだ文章要約モデル．
要約の対象は1文．
decoderはfeed-forwardで行なっている．
abstractive summarization(抽象要約)
キーワード
NLP
sentence summarization
abstractive summarization
CNN
attention

1. 情報

論文リンク

https://aclweb.org/anthology/papers/D/D15/D15-1044/

著者

Alexander M. Rush, Sumit Chopra, Jason Weston (Facebook)

投稿日付

2015/9/17-21 (EMNLP 2015)

2. 先行研究と比べてどこがすごい？

文章要約のアプローチには，単語を「抽出」するもの，「概要」を生成するもの，不要な単語を「除去」するものなどがある．それらは何らかのルールや文の句構造等を利用するものだが，本手法はtextから直接，要約を生成する．評価データにおいてベースラインのモデルを超える性能を示す．

3. 技術や手法のキモはどこ？

要約文は逐次的に生成されるが，その際にAttention機構を用いて，元の文章の重要部分にAttentionを向けている．
確率的な言語モデルを用いており，生成時にはBeam Searchでスコアが高くなる文を探索している．
元の文章をencodeする方法として，Bag-of-WordやCNNとPreplexity基準で比較しているが，Attentionが最強

4. どうやって有効だと検証した？

DUC-2004とGigawordを評価用データとし，unigrams, bigrams, 最長共通部分文字列で評価．
ベースラインのモデルとして，以下を使用
- 文章の最初の75文字を抜き出す
- TOPIARYというDUCタスク最優秀システム
- COMPRESSという文法を加味するモデル
- 同じく文法を加味するW&L
- 機械翻訳モデルのMOSES+
- IRに由来する，BM-25のスコアが高くなるタイトルを選ぶ手法

5. 議論はある？

decoderがFFNを用いているがRNNベースの言語モデルに拡張することを考えている
要約の文章を見ると，まだ人間には及ばない．キーワードをピックアップするのは上手だが，文法ミスや主題の取り違いが多い．

6. 次に読むべき論文は？

IkokObi commented 5 years ago

7. 実装の詳細

p(y_i+1|x, y_c; theta)をモデル化
元の文章と，i番目までに生成された要約文の情報をencodeする
encodeの方法として，下の3通り
- Bag-of-Words
- CNN
- Attention
未知語やレアな単語に対応するため，単語の一致に基づくスコアを加えたABS+というモデルも一緒に提案している

IkokObi commented 5 years ago

8. データセット

学習データ
- Gigaword: 4,000,000のタイトル-記事(先頭の1文)ペア
テストデータ
- DUC-2004, 500 sentences, 4 references(人手による要約文), 75 bytes
- Gigaword(学習用とは別), 2000 sentences, 1 reference

9. 結果の詳細

スコアの表
生成される要約文の例

IkokObi commented 5 years ago

雑感&メモ

文書要約でしばしば目にする論文の1つ(被引用数844)
モデル自体がシンプルなので，工夫や拡張がしやすい．例えばdecoderをLSTMにするなど．
分かち書きや係り受け等の文法に関する情報が不要なので，日本語にもそのまま応用しやすそう
キーワードがきちんと取れるのであれば，キーワード抽出目的として役立つかも