ESTIME: Estimation of Summary-to-Text Inconsistency by Mismatched Embeddings, Eval4NLP'21

[AkihikoWatanabe]

https://aclanthology.org/2021.eval4nlp-1.10/

[AkihikoWatanabe]

We propose a new reference-free summary quality evaluation measure, with emphasis on the faithfulness. The measure is based on finding and counting all probable potential inconsistencies of the summary with respect to the source document. The proposed ESTIME, Estimator of Summary-to-Text Inconsistency by Mismatched Embeddings, correlates with expert scores in summary-level SummEval dataset stronger than other common evaluation measures not only in Consistency but also in Fluency. We also introduce a method of generating subtle factual errors in human summaries. We show that ESTIME is more sensitive to subtle errors than other common evaluation measures.

Translation (by gpt-3.5-turbo)

• 私たちは、忠実さに重点を置いた新しい参照なし要約品質評価尺度を提案します。この尺度は、要約とソースドキュメントとの間の潜在的な矛盾を見つけて数えることに基づいています。提案されたESTIME（Mismatched Embeddingsによる要約とテキストの不整合の推定器）は、要約レベルのSummEvalデータセットにおいて、一貫性だけでなく流暢さにおいても他の一般的な評価尺度よりも専門家のスコアと強い相関を示します。また、人間の要約に微妙な事実の誤りを生成する方法も紹介します。ESTIMEは他の一般的な評価尺度よりも微妙なエラーに対してより感度が高いことを示します。

  Summary (by gpt-3.5-turbo)

• 私たちは、新しい参照なし要約品質評価尺度を提案します。この尺度は、要約とソースドキュメントの間の潜在的な矛盾を見つけて数えることに基づいています。提案された尺度は、一貫性と流暢さの両方で他の評価尺度よりも専門家のスコアと強い相関を示しました。また、微妙な事実の誤りを生成する方法も紹介しました。この尺度は微妙なエラーに対してより感度が高いことを示しました。