Reference-free Summarization Evaluation via Semantic Correlation and Compression Ratio, Liu+, NAACL'22

[AkihikoWatanabe]

https://aclanthology.org/2022.naacl-main.153/

[AkihikoWatanabe]

A document can be summarized in a number of ways. Reference-based evaluation of summarization has been criticized for its inflexibility. The more sufficient the number of abstracts, the more accurate the evaluation results. However, it is difficult to collect sufficient reference summaries. In this paper, we propose a new automatic reference-free evaluation metric that compares semantic distribution between source document and summary by pretrained language models and considers summary compression ratio. The experiments show that this metric is more consistent with human evaluation in terms of coherence, consistency, relevance and fluency.

Translation (by gpt-3.5-turbo)

• ある文書はさまざまな方法で要約することができます。要約の評価においては、参照ベースの評価方法が柔軟性に欠けると批判されています。要約の数が十分であればあるほど、評価結果はより正確になります。しかし、十分な参照要約を収集することは困難です。本論文では、事前学習済み言語モデルを用いてソース文書と要約の意味的な分布を比較し、要約の圧縮率も考慮した新しい自動参照フリーの評価指標を提案します。実験の結果、この指標は、つながり、一貫性、関連性、流暢さの観点で人間の評価とより一致していることが示されました。

  Summary (by gpt-3.5-turbo)

• 本研究では、参照ベースの評価方法の柔軟性の欠如を解消するために、事前学習済み言語モデルを使用して自動参照フリーの評価指標を提案します。この指標は、要約の意味的な分布と圧縮率を考慮し、人間の評価とより一致していることが実験で示されました。