AkihikoWatanabe
commented
1 year ago The problems of unfaithful summaries have been widely discussed under the context of abstractive summarization. Though extractive summarization is less prone to the common unfaithfulness issues of abstractive summaries, does that mean extractive is equal to faithful? Turns out that the answer is no. In this work, we define a typology with five types of broad unfaithfulness problems (including and beyond not-entailment) that can appear in extractive summaries, including incorrect coreference, incomplete coreference, incorrect discourse, incomplete discourse, as well as other misleading information. We ask humans to label these problems out of 1600 English summaries produced by 16 diverse extractive systems. We find that 30\% of the summaries have at least one of the five issues. To automatically detect these problems, we find that 5 existing faithfulness evaluation metrics for summarization have poor correlations with human judgment. To remedy this, we propose a new metric, ExtEval, that is designed for detecting unfaithful extractive summaries and is shown to have the best performance. We hope our work can increase the awareness of unfaithfulness problems in extractive summarization and help future work to evaluate and resolve these issues.
Translation (by gpt-3.5-turbo)
- 抽象的な要約の文脈で、不正確な要約の問題は広く議論されてきました。抽出的な要約は抽象的な要約の一般的な不正確さの問題にはあまり影響を受けにくいですが、それは抽出的な要約が正確であることを意味するのでしょうか？結論はノーです。本研究では、抽出的な要約に現れる広範な不正確さの問題（非含意を含む）を5つのタイプに分類し、それについて議論します。これには、不正確な共参照、不完全な共参照、不正確な談話、不完全な談話、および他の誤解を招く情報が含まれます。私たちは、16の異なる抽出システムによって生成された1600の英語の要約を人間にラベル付けするように依頼しました。その結果、要約の30％には少なくとも5つの問題のうちの1つが存在することがわかりました。これらの問題を自動的に検出するために、要約の正確さを評価するための5つの既存の評価尺度と人間の判断との相関が低いことがわかりました。これを解決するために、私たちは新しい尺度であるExtEvalを提案し、不正確な抽出的な要約を検出するために設計されており、最も優れた性能を持つことが示されています。私たちの研究が抽出的な要約における不正確さの問題に対する認識を高め、将来の研究がこれらの問題を評価し解決するのに役立つことを願っています。
Summary (by gpt-3.5-turbo)
- 本研究では、抽出的な要約の不正確さの問題について議論し、それを5つのタイプに分類します。さらに、新しい尺度であるExtEvalを提案し、不正確な要約を検出するために使用することを示します。この研究は、抽出的な要約の不正確さに対する認識を高め、将来の研究に役立つことを目指しています。
https://virtual2023.aclweb.org/paper_P5840.html