Open yiskw713 opened 4 years ago
Yi Zhu et al.
arXiv supplementary 実装
従来のtwo-stream networkは，予め画像からnon-deepな手法を用いて，optical flow を生成しておき，学習を行う two-stage型で，end-to-endではなかった． 本研究では，内部的にoptical flowを生成しつつ，その optical flowとRGB画像を用いて行動認識を行うネットワークである hidden two-stream networkを提案している． ネットワークの学習には，行動認識のラベルのみを必要とし, optical flowの生成の学習は，unsupervised に行われている．
上の図は，stacking，下の図は branching として，二つのモデルを提案している． 結論としては，上のstacked model の方が良い．ActionFlowNet (#151 )と同じ．違う点はoptical flow生成をunsupervised でやっている点．
損失関数は， 1) optical flow 生成の損失関数 2) 行動認識
1)は，(i)画像ペアのうちの，一方の画像と生成したoptical flowから，もう一方を再構成したときのロス，(ii) aperture problem を解決するための smoothing loss (iii) ペアの画像中のパッチにおけるSSIM から成り立つ． 2)は通常の
two-stream同士での比較． 提案手法が優れていることを確認．
損失関数の比較
optical flow の性能の比較
May 25th, 2020
INFO
author
Yi Zhu et al.
affiliation
conference or year
link
arXiv supplementary 実装
概要
従来のtwo-stream networkは，予め画像からnon-deepな手法を用いて，optical flow を生成しておき，学習を行う two-stage型で，end-to-endではなかった． 本研究では，内部的にoptical flowを生成しつつ，その optical flowとRGB画像を用いて行動認識を行うネットワークである hidden two-stream networkを提案している． ネットワークの学習には，行動認識のラベルのみを必要とし, optical flowの生成の学習は，unsupervised に行われている．
提案手法
上の図は，stacking，下の図は branching として，二つのモデルを提案している． 結論としては，上のstacked model の方が良い．ActionFlowNet (#151 )と同じ．違う点はoptical flow生成をunsupervised でやっている点．
損失関数は， 1) optical flow 生成の損失関数 2) 行動認識
1)は，(i)画像ペアのうちの，一方の画像と生成したoptical flowから，もう一方を再構成したときのロス，(ii) aperture problem を解決するための smoothing loss (iii) ペアの画像中のパッチにおけるSSIM から成り立つ． 2)は通常の
検証
two-stream同士での比較． 提案手法が優れていることを確認．
損失関数の比較
optical flow の性能の比較
date
May 25th, 2020