Fill in the BLANC: Human-free quality estimation of document summaries, Vasilyev+, Eval4NLP'20

[AkihikoWatanabe]

https://aclanthology.org/2020.eval4nlp-1.2/

[AkihikoWatanabe]

We present BLANC, a new approach to the automatic estimation of document summary quality. Our goal is to measure the functional performance of a summary with an objective, reproducible, and fully automated method. Our approach achieves this by measuring the performance boost gained by a pre-trained language model with access to a document summary while carrying out its language understanding task on the document’s text. We present evidence that BLANC scores have as good correlation with human evaluations as do the ROUGE family of summary quality measurements. And unlike ROUGE, the BLANC method does not require human-written reference summaries, allowing for fully human-free summary quality estimation.

Translation (by gpt-3.5-turbo)

• 私たちは、ドキュメントの要約品質の自動推定における新しいアプローチであるBLANCを提案します。私たちの目標は、要約の機能的なパフォーマンスを客観的で再現可能な完全自動の方法で測定することです。私たちのアプローチは、ドキュメントのテキストに対して言語理解タスクを実行する際に、ドキュメントの要約にアクセスできる事前学習済み言語モデルによって得られるパフォーマンスの向上を測定することによってこれを実現しています。私たちは、BLANCスコアがROUGEファミリーの要約品質測定と同様に人間の評価と良好な相関関係を持つことを示す証拠を提供します。また、ROUGEとは異なり、BLANCの方法では人間によって書かれた参照要約が必要ありませんので、完全に人間不在の要約品質推定が可能です。

  Summary (by gpt-3.5-turbo)

• BLANCは、要約の品質を自動的に推定するための新しいアプローチです。BLANCは、事前学習済みの言語モデルを使用してドキュメントの要約にアクセスし、要約の機能的なパフォーマンスを測定します。BLANCスコアは、ROUGEと同様に人間の評価と良好な相関関係を持ち、人間によって書かれた参照要約が不要なため、完全に人間不在の要約品質推定が可能です。