Unsupervised Reference-Free Summary Quality Evaluation via Contrastive Learning, Hanlu Wu+, N/A, EMNLP'20

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2010.01781

  Affiliations

  • Hanlu Wu, N/A
  • Tengfei Ma, N/A
  • Lingfei Wu, N/A
  • Tariro Manyumwa, N/A
  • Shouling Ji, N/A

    Abstract

  • Evaluation of a document summarization system has been a critical factor toimpact the success of the summarization task. Previous approaches, such asROUGE, mainly consider the informativeness of the assessed summary and requirehuman-generated references for each test summary. In this work, we propose toevaluate the summary qualities without reference summaries by unsupervisedcontrastive learning. Specifically, we design a new metric which covers bothlinguistic qualities and semantic informativeness based on BERT. To learn themetric, for each summary, we construct different types of negative samples withrespect to different aspects of the summary qualities, and train our model witha ranking loss. Experiments on Newsroom and CNN/Daily Mail demonstrate that ournew evaluation method outperforms other metrics even without referencesummaries. Furthermore, we show that our method is general and transferableacross datasets.

    Translation (by gpt-3.5-turbo)

• ドキュメント要約システムの評価は、要約タスクの成功に影響を与える重要な要素です。 従来のアプローチ（ROUGEなど）では、評価される要約の情報量を主に考慮し、各テスト要約に対して人間が生成した参照要約が必要でした。 本研究では、参照要約なしで要約の品質を評価するために、教師なしの対照的学習を提案します。 具体的には、BERTに基づいて言語的品質と意味的情報量の両方をカバーする新しいメトリックを設計します。 メトリックを学習するために、各要約に対して異なる側面の要約品質に関する異なるタイプのネガティブサンプルを構築し、ランキング損失でモデルを訓練します。 NewsroomとCNN/Daily Mailでの実験結果は、参照要約なしでも他のメトリックよりも優れた評価方法であることを示しています。 さらに、提案手法がデータセット間で一般的かつ転移可能であることも示しています。

  Summary (by gpt-3.5-turbo)

• 本研究では、参照要約なしで要約の品質を評価するために教師なしの対照的学習を提案しています。新しいメトリックを設計し、ランキング損失でモデルを訓練することで、要約品質の異なる側面に関する異なるタイプのネガティブサンプルを構築します。実験結果は、参照要約なしでも他のメトリックよりも優れた評価方法であることを示しています。また、提案手法が一般的かつ転移可能であることも示されています。

[AkihikoWatanabe]

LS_Score

[AkihikoWatanabe]

色々なメトリックが簡潔にまとまっている