論文情報

著者

Runhao Zeng, Haoming Xu, Wenbing Huang, Peihao Chen, Mingkui Tan, Chuang Gan

投稿先

CVPR2020

論文のリンク

pdf

概要

図
タスク Temporal Moment Retrieval
問題点 VideoにアノテーションされたQueryのタイムスタンプ(start, end)が指すフレームをpositiveフレーム(正例)，それ以外のフレームをnegativeフレーム(負例)と区別すると，動画の全フレーム内に正例はスパース(疎)であり，ほとんどが負例である．従来手法ではこの不均衡なアノテーション情報で学習を行なっているが，不均衡データでは推論に悪影響を与える．
提案手法 (start,end)内のフレームと(start, end)のフレーム間の距離を回帰し、従来より密なsupervisionsとして利用．具体的には(start, end)内のフレームは全てpositive．全体の流れはvideo-query interaction moduleで動画とクエリを特徴抽出し，3種類のgrounding moduleで時間範囲を回帰．
1. Location regression head Ground truth内部の場合はフレームごとにフレームから(start, end)までのインデックスの距離を推定．外部の場合は無視．Groud truth内部のフレーム数だけbounding boxの候補がある
2. Semantic matching head location regression headで推定された各フレームのbounding boxごとにスコアを算出
3. IoU regression head location regression headとsemantic matching headをconcatして，畳み込みを行ってbounding boxを推定．実際のIoUを計算して，ロスを算出・回帰．
4. loss location regression head → bounding boxの精度を向上する semantic matching head → focal loss(不均衡データに有効なcross entropy loss) IoU regression head → smooth-L1 loss(外れ値に過剰に反応しない)