FFCI: A Framework for Interpretable Automatic Evaluation of Summarization, Fajri Koto+, N/A, JAIR'22

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2011.13662

  Affiliations

  • Fajri Koto, N/A
  • Timothy Baldwin, N/A
  • Jey Han Lau, N/A

    Abstract

  • In this paper, we propose FFCI, a framework for fine-grained summarizationevaluation that comprises four elements: faithfulness (degree of factualconsistency with the source), focus (precision of summary content relative tothe reference), coverage (recall of summary content relative to the reference),and inter-sentential coherence (document fluency between adjacent sentences).We construct a novel dataset for focus, coverage, and inter-sententialcoherence, and develop automatic methods for evaluating each of the fourdimensions of FFCI based on cross-comparison of evaluation metrics andmodel-based evaluation methods, including question answering (QA) approaches,semantic textual similarity (STS), next-sentence prediction (NSP), and scoresderived from 19 pre-trained language models. We then apply the developedmetrics in evaluating a broad range of summarization models across twodatasets, with some surprising findings.

    Translation (by gpt-3.5-turbo)

• 本論文では、FFCIという細かい要約評価のためのフレームワークを提案します。このフレームワークは、信頼性（ソースとの事実の一致度）、焦点（参照に対する要約内容の精度）、カバレッジ（参照に対する要約内容の再現率）、および文間の連続性（隣接する文の文章の流暢さ）の4つの要素から構成されています。焦点、カバレッジ、および文間の連続性のために新しいデータセットを構築し、評価メトリックとモデルベースの評価方法（質問応答（QA）アプローチ、意味的なテキストの類似性（STS）、次の文予測（NSP）、および19の事前学習言語モデルから派生したスコアを含む）をクロス比較することに基づいて、FFCIの4つの次元を評価するための自動的な方法を開発します。そして、開発されたメトリックを使用して、2つのデータセット上でさまざまな要約モデルを評価し、いくつかの驚くべき結果を得ます。

  Summary (by gpt-3.5-turbo)

• 本論文では、FFCIという細かい要約評価のためのフレームワークを提案しました。このフレームワークは、信頼性、焦点、カバレッジ、および文間の連続性の4つの要素から構成されています。新しいデータセットを構築し、評価メトリックとモデルベースの評価方法をクロス比較することで、FFCIの4つの次元を評価するための自動的な方法を開発しました。さまざまな要約モデルを評価し、驚くべき結果を得ました。

[AkihikoWatanabe]

先行研究でどのようなMetricが利用されていて、それらがどういった観点のMetricなのかや、データセットなど、非常に細かくまとまっている。

[AkihikoWatanabe]

Faithfulness(ROUGE, STS-Score, BERTScoreに基づく), Focus and Coverage (Question Answering basedな手法に基づく), Inter-Sentential Coherence (NSPに基づく)メトリックを組み合わせることを提案している。