fulfulggg
commented
2 weeks ago 論文要約
LocoMotion：動きに焦点を当てた映像言語表現の学習 - 論文要約
- 目的: 動画内の「動き」に特化した、より詳細な説明を生成できるAIモデルの開発。
- 従来手法の問題点: 従来のAIモデルは、物体やシーンなど静的な要素の認識に焦点を当てており、動きの表現が不十分だった。
- 提案手法 (LocoMotion):
- 動画に人工的な動きを追加し、その動きを説明するキャプションを自動生成することで、AIモデルに動きの概念を学習させる。
- 動きの表現を豊かにするため、様々な言い回しで表現されたキャプションを生成する手法を導入。
- 結果:
- LocoMotionは、従来手法よりも動きの表現に優れており、少ない学習データでも高い精度で動画の内容を説明できる。
- 特に、動画の内容理解や検索など、動きの情報が重要なタスクにおいて有効。
- コード: https://hazeldoughty.github.io/Papers/LocoMotion/ で公開。
タイトル: LocoMotion：動きに焦点を当てた映像言語表現の学習
リンク: https://arxiv.org/abs/2410.12018
概要:
本論文では、動きに焦点を当てた動画言語表現の獲得を目指します。既存の動画言語表現学習手法は、物体やシーンの識別で適切なキャプションを区別できる、空間重視のデータを使用しています。そこで本研究では、局所的な物体の動きの変化や時間的な進行を記述する、動き重視のキャプションから学習するLocoMotionを提案します。具体的には、動画に合成的な動きを追加し、その動きのパラメータを用いて対応するキャプションを生成します。さらに、キャプションの多様性を高め、原始的な動きと高レベルな動詞の関連性を学習するために、動詞バリエーションのパラフレーズを提案します。これにより、動きに焦点を当てた動画言語表現を学習することができます。実験の結果、私たちの提案手法は、特にファインチューニング用のデータが少ない場合に、さまざまなダウンストリームタスクにおいて有効であることが示されました。コードはhttps://hazeldoughty.github.io/Papers/LocoMotion/で公開されています。