AkihikoWatanabe
commented
1 year ago This paper presents how to use ROUGE to evaluate summaries without human reference summaries. ROUGE is a widely used evaluation tool for multi-document summarization and has great advantages in the areas of summarization evaluation. However, manual reference summaries written beforehand by assessors are indispensable for a ROUGE test. There was still no research on ROUGEpsilas abilities of evaluating summaries without manual reference summaries. By considering summary as consensus speaker for the original input information, we discovered and developed ROUGE-C. ROUGE-C applies the ROUGE method alternatively by replacing the reference summaries with source document as well as query-focused information (if any), and therefore it enables a fully manual-independent way of evaluating multi-document summarization. Experiments conducted on the 2001 to 2005 DUC data showed that, with restraint of appropriate condition and some acceptable decreased efficiency, ROUGE-C correlated well with methods that depend on reference summaries, including human judgments.
Translation (by gpt-3.5-turbo)
- この論文では、人間の参照要約なしでROUGEを使用して要約を評価する方法について述べます。ROUGEは、マルチドキュメント要約の評価に広く使用されており、要約評価の分野で大きな利点を持っています。しかし、ROUGEテストには事前に評価者が作成した手動の参照要約が不可欠です。手動の参照要約なしで要約を評価するROUGEの能力に関する研究はまだ存在しませんでした。要約を元の入力情報の合意スピーカーと考えることで、私たちはROUGE-Cを発見し開発しました。ROUGE-Cは、参照要約をソースドキュメントやクエリに関連する情報（ある場合）で置き換えることで、マルチドキュメント要約の完全に手動に依存しない評価方法を可能にします。2001年から2005年のDUCデータで行われた実験では、適切な条件と一部の受け入れ可能な効率の低下を制約することで、ROUGE-Cは人間の判断を含む参照要約に依存する方法とよく相関していることが示されました。
Summary (by gpt-3.5-turbo)
- この論文では、ROUGEを使用して要約を評価する方法について説明しています。ROUGEは、要約評価のために広く使用されていますが、手動の参照要約が必要です。この研究では、ROUGE-Cという手法を開発しました。ROUGE-Cは、参照要約を入力情報に置き換えることで、手動の参照要約なしで要約を評価することができます。実験結果は、ROUGE-Cが人間の判断を含む参照要約とよく相関していることを示しています。
https://ieeexplore.ieee.org/abstract/document/4664680