QTSumm: Query-Focused Summarization over Tabular Data, Yilun Zhao+, N/A, EMNLP'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2305.14303

  Affiliations

  • Yilun Zhao, N/A
  • Zhenting Qi, N/A
  • Linyong Nan, N/A
  • Boyu Mi, N/A
  • Yixin Liu, N/A
  • Weijin Zou, N/A
  • Simeng Han, N/A
  • Ruizhe Chen, N/A
  • Xiangru Tang, N/A
  • Yumo Xu, N/A
  • Dragomir Radev, N/A
  • Arman Cohan, N/A

    Abstract

  • People primarily consult tables to conduct data analysis or answer specificquestions. Text generation systems that can provide accurate table summariestailored to users' information needs can facilitate more efficient access torelevant data insights. Motivated by this, we define a new query-focused tablesummarization task, where text generation models have to perform human-likereasoning and analysis over the given table to generate a tailored summary. Weintroduce a new benchmark named QTSumm for this task, which contains 7,111human-annotated query-summary pairs over 2,934 tables covering diverse topics.We investigate a set of strong baselines on QTSumm, including text generation,table-to-text generation, and large language models. Experimental results andmanual analysis reveal that the new task presents significant challenges intable-to-text generation for future research. Moreover, we propose a newapproach named ReFactor, to retrieve and reason over query-relevant informationfrom tabular data to generate several natural language facts. Experimentalresults demonstrate that ReFactor can bring improvements to baselines byconcatenating the generated facts to the model input. Our data and code arepublicly available at https://github.com/yale-nlp/QTSumm.

    Translation (by gpt-3.5-turbo)

• 人々は主にデータ分析を行ったり特定の質問に答えるために表を参照します。ユーザーの情報ニーズに合わせた正確な表の要約を提供できるテキスト生成システムは、関連するデータの洞察に効率的にアクセスするのを容易にします。この動機付けを受けて、与えられた表に対して人間らしい推論と分析を行い、カスタマイズされた要約を生成するためにテキスト生成モデルが行う新しいクエリに焦点を当てた表の要約タスクを定義します。このタスク用にQTSummという新しいベンチマークを導入しました。これには、様々なトピックをカバーする2,934の表にわたる7,111の人間による注釈付きクエリ-要約ペアが含まれています。QTSummでテキスト生成、表からテキスト生成、および大規模言語モデルを含む一連の強力なベースラインを調査します。実験結果と手動分析により、新しいタスクが将来の研究において表からテキスト生成において重要な課題を提起していることが明らかになります。さらに、クエリに関連する情報を取得し、理由付けするための新しいアプローチであるReFactorを提案し、複数の自然言語の事実を生成します。実験結果は、ReFactorが生成された事実をモデルの入力に連結することでベースラインを改善できることを示しています。弊社のデータとコードはhttps://github.com/yale-nlp/QTSummで公開されています。

  Summary (by gpt-3.5-turbo)

• 与えられた表に対して人間らしい推論と分析を行い、カスタマイズされた要約を生成するための新しいクエリに焦点を当てた表の要約タスクを定義し、QTSummという新しいベンチマークを導入。実験結果と手動分析により、新しいタスクが表からテキスト生成において重要な課題を提起していることが明らかになります。 ReFactorという新しいアプローチを提案し、生成された事実をモデルの入力に連結することでベースラインを改善できることを示しています。

[AkihikoWatanabe]

RAGでテーブル情報を扱う際に役立ちそう

[AkihikoWatanabe]

Radev論文