Open yiskw713 opened 4 years ago
Bruno Korbar, Du Tran, Lorenzo Torresani
Facebook AI
ICCV2019
pdf
これまで action recognition の分野では，推論時にビデオをクリップ(例えば16フレームを1クリップとして)に分割し，すべてのクリップをモデルに入力，その出力結果の平均値をビデオに対する最終的な出力結果としていた．しかしながら，クリップの中には無駄な情報を含むものもあり，すべてのクリップの結果を平均するのは得策ではないと言える．そこで本研究では，Action Recognitionにおいて，出力結果に大きく寄与するクリップを選択する Salient Clip-Sampler(SCSampler) を提案している．
SCSampler として，visual-based sampler と audio-based sampler の２つを提案している．これらの sampler は，軽量化行動モデル(action classifier)，もしくは saliency ranker として学習される．
Jan. 21, 2020
INFO
author
Bruno Korbar, Du Tran, Lorenzo Torresani
affiliation
Facebook AI
conference or year
ICCV2019
link
pdf
概要
これまで action recognition の分野では，推論時にビデオをクリップ(例えば16フレームを1クリップとして)に分割し，すべてのクリップをモデルに入力，その出力結果の平均値をビデオに対する最終的な出力結果としていた．しかしながら，クリップの中には無駄な情報を含むものもあり，すべてのクリップの結果を平均するのは得策ではないと言える．そこで本研究では，Action Recognitionにおいて，出力結果に大きく寄与するクリップを選択する Salient Clip-Sampler(SCSampler) を提案している．
SCSampler として，visual-based sampler と audio-based sampler の２つを提案している．これらの sampler は，軽量化行動モデル(action classifier)，もしくは saliency ranker として学習される．
検証
Comment
date
Jan. 21, 2020