[2016]Abstractive Sentence Summarization with Attentive Recurrent Neural Networks - Githubissues

karakuri-ai / paper-readings

repository to research the machine learning papers

2 stars 1 forks source link

[2016]Abstractive Sentence Summarization with Attentive Recurrent Neural Networks #3

Open IkokObi opened 5 years ago

IkokObi commented 5 years ago

ざっくり言うと

Rush et al. (2015)(#1 で既に読んだ)のモデルを拡張．
FFNをRNN/LSTMに変えて，Attention部分にCNNを追加
Attentionの入力にpositional encodingを追加．
Rush et al.を超えてSOTAを出した．
abstractive summarization
キーワード
NLP
sentence summarization
abstractive summarization
RNN
attention

1. 情報

論文リンク

https://aclweb.org/anthology/papers/N/N16/N16-1012/

著者

Sumit Chopra, Michael Auli, Alexander M. Rush

投稿日付

2016/6/12-17 (NAACL 2016)

2. 先行研究と比べてどこがすごい？

先行研究のRush et al.のFFNをRNN/LSTMに変更することでパワーアップ

3. 技術や手法のキモはどこ？

先行研究のRush et al.のFFNをRNN/LSTMに変更
Attentionの計算過程にConvolutionを追加
Attentionの最初のembeddingの部分に，positional embeddingを追加．これが有効とのこと．

4. どうやって有効だと検証した？

Gigaword及びDUC-2004のスコアをSOTAと比較して優る結果に

5. 議論はある？

モデル性能の比較として最後に出したNeural機械翻訳モデルのスコアがそこそこ高い(DUC-2004で一部SOTA)という何とも締まりの悪い結果に
その前までの議論では，LSTMよりもRNNの方が性能が良かった理由について，データセットに対してモデルが複雑過ぎてoverfittingしていると述べていたのに，機械翻訳モデルとの比較ではシンプルなRNNで同等の性能が出たと主張していて何だか...という感じ

6. 次に読むべき論文は？

IkokObi commented 5 years ago

7. 実装の詳細

ほぼ上の3. で説明した通りで，Rush et al. (2015)と合わせて読むのがオススメ

8. データセット

基本的にはRush et al. (2015)と同じ

学習データ
- Gigaword: 記事のタイトルと先頭の1文のペア．
テストデータ
- Gigaword: 2,000ペア
- DUC-2004: 500ペア

IkokObi commented 5 years ago

9. 結果の詳細

スコアの表
生成された要約文

IkokObi commented 5 years ago

雑感&メモ

FFNをRNN/LSTMに拡張するのは自然な流れで良い気がする
Neural機械翻訳が同等の性能を発揮したのがすごい