DAPs: Deep Action Proposals for Action Understanding

[yiskw713]

INFO

author

Victor Escorcia, Fabian Caba Heilbron, Juan Carlos Niebles, Bernard Ghanem

affiliation

conference or year

ECCV 2016

link

pdf

概要

動画から時系列方向のaction proposal を検出する Deep Action Proposals (DAPs)を提案． シングルパスでマルチスケールのaction proposal を検出できる．既存研究よりもリコールが高く，134fpsと高速である．

提案手法

提案手法は4つのパートに別れている．

1. Visual Encoder: 動画をエンコードする．エンコードモデルはC3Dを用いている．
2. Sequence Encoder: C3Dから得られた特徴量をLSTMに入力し，さらに時系列情報を考慮した特徴へとエンコードする．
3. Localization Module: LSTMの出力から，全結合層を組み合わせて，action proposal の位置と長さを出力する
4. Prediction: Action proposal に対する確信度を出力する．全結合層とsigmoid関数からなる．

ロスは以下のようになる． action proposal と g.t. のユークリッド距離であらわされる L_matchと，確信度に対するバイナリクロスエントロピーからなる．

検証

結果

新規性

• single pass で action proposal を出力

議論，展望

• もっと複雑な action proposal の出力はできなさそう．(#56 へ発展)

date

May 16, 2019