Closed kacky24 closed 5 years ago
abstractive要約手法であるpointer generator networkの提案論文。
それまでのabstractive手法の問題点
それぞれに対して、pointer-generator networkと、coverage mechanismを提案。
従来のseq2seq with attentionにおいて、softmaxをとった単語の出力確率分布に、source sentenceのattentionの分布を足し合わせるということを行う。その比率pgenも同時に学習する。
この機構により、必要な部分は”コピー”するような操作に近いことが可能となり、精度を上げつつ、そのままコピーすることで未知語をUNKとせずに対応できるようになる。
ある入力文章に対して、すでに出力したもの(ex. 1,2文目の要約文)のattentionの分布と、今回出力する(ex. 3文目の要約文)attentionの分布の被りが小さくなるようなロスを追加する。これにより、繰り返しが少ない要約文が生成される。
学習時、まずはcoverage mechanismなしで学習し、最後に追加する。最初から追加すると主損失関数を邪魔してうまくいかなかった。 結果としては、abstractiveな手法の中では当時のSOTA。coverage mechanismにより、繰り返しをうまく回避できた。 ただ、学習時にはpgenが0.3 → 0.53という感じだったが、テスト時には平均0.17という値をとり、コピーの比率が非常に大きくなった。これは、学習時はteacher forcingだが、テスト時は自身の出力を入力とすることに起因すると考えられる。実際、正解に比べて、新しい表現というのはあまり出力されておらず、コピーが多いという結果。
Abigail See Stanford University abisee@stanford.edu Peter J. Liu Google Brain peterjliu@google.com Christopher D. Manning Stanford University manning@stanford.edu
https://arxiv.org/pdf/1704.04368.pdf
2017
short summary
abstractive要約手法であるpointer generator networkの提案論文。
それまでのabstractive手法の問題点
それぞれに対して、pointer-generator networkと、coverage mechanismを提案。
pointer-generator network
従来のseq2seq with attentionにおいて、softmaxをとった単語の出力確率分布に、source sentenceのattentionの分布を足し合わせるということを行う。その比率pgenも同時に学習する。
この機構により、必要な部分は”コピー”するような操作に近いことが可能となり、精度を上げつつ、そのままコピーすることで未知語をUNKとせずに対応できるようになる。
coverage mechanism
ある入力文章に対して、すでに出力したもの(ex. 1,2文目の要約文)のattentionの分布と、今回出力する(ex. 3文目の要約文)attentionの分布の被りが小さくなるようなロスを追加する。これにより、繰り返しが少ない要約文が生成される。
実験・結果
学習時、まずはcoverage mechanismなしで学習し、最後に追加する。最初から追加すると主損失関数を邪魔してうまくいかなかった。 結果としては、abstractiveな手法の中では当時のSOTA。coverage mechanismにより、繰り返しをうまく回避できた。 ただ、学習時にはpgenが0.3 → 0.53という感じだったが、テスト時には平均0.17という値をとり、コピーの比率が非常に大きくなった。これは、学習時はteacher forcingだが、テスト時は自身の出力を入力とすることに起因すると考えられる。実際、正解に比べて、新しい表現というのはあまり出力されておらず、コピーが多いという結果。
author
Abigail See Stanford University abisee@stanford.edu Peter J. Liu Google Brain peterjliu@google.com Christopher D. Manning Stanford University manning@stanford.edu
URL
https://arxiv.org/pdf/1704.04368.pdf
year
2017