AkihikoWatanabe
commented
1 year ago In recent years, reference-based and supervised summarization evaluation metrics have been widely explored. However, collecting human-annotated references and ratings are costly and time-consuming. To avoid these limitations, we propose a training-free and reference-free summarization evaluation metric. Our metric consists of a centrality-weighted relevance score and a self-referenced redundancy score. The relevance score is computed between the pseudo reference built from the source document and the given summary, where the pseudo reference content is weighted by the sentence centrality to provide importance guidance. Besides an F1-based relevance score, we also design an F𝛽-based variant that pays more attention to the recall score. As for the redundancy score of the summary, we compute a self-masked similarity score with the summary itself to evaluate the redundant information in the summary. Finally, we combine the relevance and redundancy scores to produce the final evaluation score of the given summary. Extensive experiments show that our methods can significantly outperform existing methods on both multi-document and single-document summarization evaluation. The source code is released at https://github.com/Chen-Wang-CUHK/Training-Free-and-Ref-Free-Summ-Evaluation.
Translation (by gpt-3.5-turbo)
- 近年、参照ベースと教師ありの要約評価指標が広く研究されてきました。しかし、人間による参照の収集と評価の収集はコストと時間がかかります。これらの制約を回避するために、トレーニングフリーかつ参照フリーの要約評価指標を提案します。私たちの指標は、重要度のガイダンスを提供するために文の中心性によって重み付けされた概念参照と与えられた要約との間の関連性スコアと、自己参照の冗長性スコアから構成されています。関連性スコアは、ソースドキュメントから構築された擬似参照と与えられた要約との間で計算されます。擬似参照の内容は文の中心性によって重み付けされ、重要度のガイダンスを提供します。関連性スコアにはF1ベースのものだけでなく、リコールスコアにより注意を払うF𝛽ベースのバリアントも設計しています。要約の冗長性スコアについては、要約自体との自己マスク類似度スコアを計算して、要約内の冗長な情報を評価します。最後に、関連性スコアと冗長性スコアを組み合わせて、与えられた要約の最終評価スコアを生成します。徹底的な実験により、私たちの手法がマルチドキュメントおよびシングルドキュメントの要約評価において既存の手法を大幅に上回ることが示されました。ソースコードはhttps://github.com/Chen-Wang-CUHK/Training-Free-and-Ref-Free-Summ-Evaluationで公開されています。
Summary (by gpt-3.5-turbo)
- 参照ベースと教師ありの要約評価指標の制約を回避するために、トレーニングフリーかつ参照フリーの要約評価指標を提案する。この指標は、文の中心性によって重み付けされた概念参照と要約との関連性スコアと、自己参照の冗長性スコアから構成される。関連性スコアは擬似参照と要約との間で計算され、重要度のガイダンスを提供する。要約の冗長性スコアは要約内の冗長な情報を評価するために計算される。関連性スコアと冗長性スコアを組み合わせて、要約の最終評価スコアを生成する。徹底的な実験により、提案手法が既存の手法を大幅に上回ることが示された。ソースコードはGitHubで公開されている。
https://aclanthology.org/2021.acl-long.34/