[2019] Why Can't I Dance in the Mall? Learning to Mitigate Scene Bias in Action Recognition

[gatheluck]

論文リンク

https://arxiv.org/abs/1912.05534

公開日（yyyy/mm/dd）

2019/12/11 NeurIPS 2019

概要

video representation learning において scene bias を修正する手法を提案。

[gatheluck]

データセットDの scene representation bias は以下で定義される。

• \phi : scene representation
• M(・,・) : action classification accuracy
• M_rand : random chance action classification accuracy

[gatheluck]

• scene-invariant feature representation 獲得のための scene-adversarial loss
• 人物が含まれないときは行動認識を出来ないようにするための human mask confusion loss

を提案している。

[gatheluck]

[gatheluck]

Standard CE Loss

[gatheluck]

Scene adversarial loss

• 行動の分類機はこのロスを高くしようとする。
• シーンの分類機はこのロスを低くしようとする。

[gatheluck]

シーンラベル p はKineticsで事前学習したResNet50をPlaces365を学習したモデルによる分類結果を擬似ラベルとして使用する。

[gatheluck]

Human mask confusion loss

[gatheluck]

人間のBBは事前に計算しておいて、BB内のピクセルの平均色で塗りつぶす。

[gatheluck]

通常の動画が入力の時の目的関数

[gatheluck]

人間が塗りつぶされた動画が入力の時の目的関数

[gatheluck]

• HMDB-51、UCF-101、Diving48で精度改善。
• CAMを用いた可視化でも人間に対する注目度の向上を確認。