Open ymym3412 opened 6 years ago
Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting Yen-Chun Chen, Mohit Bansal
生成型要約のために、最初に文を抽出しそれを書き直す形で要約を生成する
抽出-要約生成の2段階に分け、学習にMLEと強化学習を用いる
要約生成に必要な文を抽出してから、それをもとに要約を生成するアプローチを取る生成型要約のモデル。前半をExtractor,後半をAbstractorと呼ぶ CNNで文を特徴ベクトルに変換し、Pointer-Netで抽出。それをもとにDecoderで要約を生成。 Extractor,AbstractorともにMLEで学習しつつ、抽出のための文選択のところで微分不可能となるため、全体を強化学習でも最適化する
CNN/Daily mailデータセットでROUGEとMETEORの比較。 Pointer-generatorやRLモデルといったSOTAモデルを部分的に超えた
Pointer-generatorとの人手の比較でも勝利。 またabstractivenessをn-gramで評価すると、Pointer-generatorより高まっている
Coarse-to-fine attention models for document summarization Jeffrey Ling and Alexander M. Rush
第10回最先端NLP勉強会での資料 https://speakerdeck.com/marukaz/fast-abstractive-summarization-with-reinforce-selected-sentence-rewriting
ymym3412
commented
5 years ago ymym3412
commented
5 years ago
0. 論文
Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting Yen-Chun Chen, Mohit Bansal
1. どんなもの？
生成型要約のために、最初に文を抽出しそれを書き直す形で要約を生成する
2. 先行研究と比べてどこがすごい？
抽出-要約生成の2段階に分け、学習にMLEと強化学習を用いる
3. 技術や手法のキモはどこ？
要約生成に必要な文を抽出してから、それをもとに要約を生成するアプローチを取る生成型要約のモデル。前半をExtractor,後半をAbstractorと呼ぶ CNNで文を特徴ベクトルに変換し、Pointer-Netで抽出。それをもとにDecoderで要約を生成。 Extractor,AbstractorともにMLEで学習しつつ、抽出のための文選択のところで微分不可能となるため、全体を強化学習でも最適化する
4. どうやって有効だと検証した？
CNN/Daily mailデータセットでROUGEとMETEORの比較。 Pointer-generatorやRLモデルといったSOTAモデルを部分的に超えた
5. 議論はある？
Pointer-generatorとの人手の比較でも勝利。 またabstractivenessをn-gramで評価すると、Pointer-generatorより高まっている
6. 次に読むべき論文は？
Coarse-to-fine attention models for document summarization Jeffrey Ling and Alexander M. Rush