Reducing Quantity Hallucinations in Abstractive Summarization, Zheng Zhao+, N/A, EMNLP'20

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2009.13312

  Affiliations

  • Zheng Zhao, N/A
  • Shay B. Cohen, N/A
  • Bonnie Webber, N/A

    Abstract

  • It is well-known that abstractive summaries are subject tohallucination---including material that is not supported by the original text.While summaries can be made hallucination-free by limiting them to generalphrases, such summaries would fail to be very informative. Alternatively, onecan try to avoid hallucinations by verifying that any specific entities in thesummary appear in the original text in a similar context. This is the approachtaken by our system, Herman. The system learns to recognize and verify quantityentities (dates, numbers, sums of money, etc.) in a beam-worth of abstractivesummaries produced by state-of-the-art models, in order to up-rank thosesummaries whose quantity terms are supported by the original text. Experimentalresults demonstrate that the ROUGE scores of such up-ranked summaries have ahigher Precision than summaries that have not been up-ranked, without acomparable loss in Recall, resulting in higher F$_1$. Preliminary humanevaluation of up-ranked vs. original summaries shows people's preference forthe former.

    Translation (by gpt-3.5-turbo)

• 抽象的な要約は、元のテキストでサポートされていない情報を含むことがよく知られています。 要約を幻覚から解放するためには、一般的なフレーズに制限することができますが、そのような要約は情報量が少なくなってしまいます。 代わりに、要約内の特定のエンティティが元のテキストに類似の文脈で現れることを検証することで、幻覚を回避することができます。 これが私たちのシステムであるHermanのアプローチです。 このシステムは、最先端のモデルによって生成された抽象的な要約のビーム内で数量エンティティ（日付、数字、金額の合計など）を認識し、元のテキストでサポートされている数量用語を持つ要約を上位にランク付けすることを学習します。 実験結果は、そのような上位にランク付けされた要約のROUGEスコアが、上位にランク付けされていない要約と比較して高い適合率を持ち、再現率の喪失がほとんどないことを示しており、結果としてF$_1$が高くなります。 上位にランク付けされた要約と元の要約の予備的な人間評価は、前者の方が好まれることを示しています。

  Summary (by gpt-3.5-turbo)

• Hermanシステムは、抽象的な要約において幻覚を回避するために、数量エンティティを認識し、元のテキストでサポートされている数量用語を持つ要約を上位にランク付けするアプローチを提案しています。実験結果は、このアプローチが高い適合率と再現率を持ち、F$_1$スコアが向上することを示しています。また、上位にランク付けされた要約が元の要約よりも好まれることも示されています。

[AkihikoWatanabe]

数量に関するhallucinationを緩和する要約手法