COM Kitchens: An Unedited Overhead-view Video Dataset as a Vision-Language Benchmark, Koki Maeda+, N/A, ECCV'24

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2408.02272

  Affiliations

  • Koki Maeda, N/A
  • Tosho Hirasawa, N/A
  • Atsushi Hashimoto, N/A
  • Jun Harashima, N/A
  • Leszek Rybicki, N/A
  • Yusuke Fukasawa, N/A
  • Yoshitaka Ushiku, N/A

    Abstract

  • Procedural video understanding is gaining attention in the vision and language community. Deep learning-based video analysis requires extensive data. Consequently, existing works often use web videos as training resources, making it challenging to query instructional contents from raw video observations. To address this issue, we propose a new dataset, COM Kitchens. The dataset consists of unedited overhead-view videos captured by smartphones, in which participants performed food preparation based on given recipes. Fixed-viewpoint video datasets often lack environmental diversity due to high camera setup costs. We used modern wide-angle smartphone lenses to cover cooking counters from sink to cooktop in an overhead view, capturing activity without in-person assistance. With this setup, we collected a diverse dataset by distributing smartphones to participants. With this dataset, we propose the novel video-to-text retrieval task Online Recipe Retrieval (OnRR) and new video captioning domain Dense Video Captioning on unedited Overhead-View videos (DVC-OV). Our experiments verified the capabilities and limitations of current web-video-based SOTA methods in handling these tasks.

    Translation (by gpt-4o-mini)

• 手続き的なビデオ理解は、視覚と言語のコミュニティで注目を集めています。深層学習に基づくビデオ分析は、大量のデータを必要とします。そのため、既存の研究ではしばしばウェブビデオをトレーニングリソースとして使用しており、生のビデオ観察から指示内容を照会することが難しくなっています。この問題に対処するために、私たちは新しいデータセットであるCOM Kitchensを提案します。このデータセットは、参加者が与えられたレシピに基づいて食材の準備を行う際にスマートフォンで撮影された編集されていない上方視点のビデオで構成されています。固定視点のビデオデータセットは、カメラ設置コストが高いため、環境の多様性が欠けることがよくあります。私たちは、現代の広角スマートフォンレンズを使用して、シンクから調理台までの調理カウンターを上方視点でカバーし、対面での支援なしに活動を記録しました。この設定により、参加者にスマートフォンを配布することで多様なデータセットを収集しました。このデータセットを用いて、私たちは新しいビデオからテキストへの検索タスク「オンラインレシピ検索（OnRR）」と、編集されていない上方視点のビデオにおける新しいビデオキャプショニングドメイン「密なビデオキャプショニング（DVC-OV）」を提案します。私たちの実験は、これらのタスクを処理する際の現在のウェブビデオベースの最先端（SOTA）手法の能力と限界を検証しました。

  Summary (by gpt-4o-mini)

• 手続き的なビデオ理解のために、COM Kitchensという新しいデータセットを提案。これは、参加者がレシピに基づいて食材を準備する様子を上方視点で撮影した編集されていないビデオで構成されている。多様なデータ収集のためにスマートフォンを使用し、オンラインレシピ検索（OnRR）と密なビデオキャプショニング（DVC-OV）という新しいタスクを提案。実験により、既存のウェブビデオベースの手法の能力と限界を検証。

[AkihikoWatanabe]

とてもおもしろそう！