BRIO: Bringing Order to Abstractive Summarization, Yixin Liu+, N/A, arXiv'22

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2203.16804

  Affiliations

  • Yixin Liu, N/A
  • Pengfei Liu, N/A
  • Dragomir Radev, N/A
  • Graham Neubig, N/A

    Abstract

  • Abstractive summarization models are commonly trained using maximumlikelihood estimation, which assumes a deterministic (one-point) targetdistribution in which an ideal model will assign all the probability mass tothe reference summary. This assumption may lead to performance degradationduring inference, where the model needs to compare several system-generated(candidate) summaries that have deviated from the reference summary. To addressthis problem, we propose a novel training paradigm which assumes anon-deterministic distribution so that different candidate summaries areassigned probability mass according to their quality. Our method achieves a newstate-of-the-art result on the CNN/DailyMail (47.78 ROUGE-1) and XSum (49.07ROUGE-1) datasets. Further analysis also shows that our model can estimateprobabilities of candidate summaries that are more correlated with their levelof quality.

    Translation (by gpt-3.5-turbo)

• 抽象的要約モデルは、通常、最尤推定を用いて訓練されます。最尤推定では、理想的なモデルはすべての確率を参照要約に割り当てるという確定論的（一点）の目標分布を仮定しています。しかし、この仮定は、モデルが参照要約から逸脱した複数のシステム生成（候補）要約を比較する必要がある推論時に性能の低下を引き起こす可能性があります。この問題に対処するために、私たちは新しい訓練パラダイムを提案します。このパラダイムでは、非確定論的な分布を仮定し、異なる候補要約がその品質に応じて確率を割り当てられるようにします。私たちの手法は、CNN/DailyMail（47.78 ROUGE-1）およびXSum（49.07 ROUGE-1）データセットで新たな最高の結果を達成しました。さらなる分析では、私たちのモデルが候補要約の品質とより相関のある確率を推定できることも示しています。

  Summary (by gpt-3.5-turbo)

• 従来の抽象的要約モデルでは、最尤推定を使用して訓練されていましたが、この方法では複数の候補要約を比較する際に性能が低下する可能性があります。そこで、非確定論的な分布を仮定し、候補要約の品質に応じて確率を割り当てる新しい訓練パラダイムを提案しました。この手法により、CNN/DailyMailとXSumのデータセットで最高の結果を達成しました。さらに、モデルが候補要約の品質とより相関のある確率を推定できることも示されました。

[AkihikoWatanabe]

ビーム内のトップがROUGEを最大化しているとは限らなかったため、ROUGEが最大となるような要約を選択するようにしたら性能爆上げしましたという研究。 実質現在のSoTA