Multi-Dimensional Evaluation of Text Summarization with In-Context Learning, Sameer Jain+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2306.01200

  Affiliations

  • Sameer Jain, N/A
  • Vaishakh Keshava, N/A
  • Swarnashree Mysore Sathyendra, N/A
  • Patrick Fernandes, N/A
  • Pengfei Liu, N/A
  • Graham Neubig, N/A
  • Chunting Zhou, N/A

    Abstract

  • Evaluation of natural language generation (NLG) is complex andmulti-dimensional. Generated text can be evaluated for fluency, coherence,factuality, or any other dimensions of interest. Most frameworks that performsuch multi-dimensional evaluation require training on large manually orsynthetically generated datasets. In this paper, we study the efficacy of largelanguage models as multi-dimensional evaluators using in-context learning,obviating the need for large training datasets. Our experiments show thatin-context learning-based evaluators are competitive with learned evaluationframeworks for the task of text summarization, establishing state-of-the-art ondimensions such as relevance and factual consistency. We then analyze theeffects of factors such as the selection and number of in-context examples onperformance. Finally, we study the efficacy of in-context learning basedevaluators in evaluating zero-shot summaries written by large language modelssuch as GPT-3.

    Translation (by gpt-3.5-turbo)

• 自然言語生成（NLG）の評価は複雑で多面的です。生成されたテキストは流暢さ、一貫性、事実性など、興味のあるさまざまな側面で評価することができます。このような多面的評価を行うほとんどのフレームワークは、大規模な手動または合成生成されたデータセットでのトレーニングを必要とします。本論文では、大規模言語モデルをコンテキスト内学習を用いた多次元評価者としての効果を研究し、大規模なトレーニングデータセットの必要性を排除します。実験の結果、コンテキスト内学習ベースの評価者は、テキスト要約のタスクにおいて学習された評価フレームワークと競合し、関連性や事実の一貫性などの側面で最先端の性能を確立しています。その後、コンテキスト内例の選択や数などの要因が性能に与える影響を分析します。最後に、GPT-3などの大規模言語モデルによって書かれたゼロショット要約の評価におけるコンテキスト内学習ベースの評価者の効果を研究します。

  Summary (by gpt-3.5-turbo)

• 本研究では、大規模な言語モデルを使用したコンテキスト内学習による多面的評価者の効果を調査し、大規模なトレーニングデータセットの必要性を排除します。実験の結果、コンテキスト内学習ベースの評価者は、テキスト要約のタスクにおいて学習された評価フレームワークと競合し、関連性や事実の一貫性などの側面で最先端の性能を確立しています。また、GPT-3などの大規模言語モデルによって書かれたゼロショット要約の評価におけるコンテキスト内学習ベースの評価者の効果も研究されています。

[AkihikoWatanabe]

ICE