Learning 3D-aware Egocentric Spatial-Temporal Interaction via Graph Convolutional Networks

[AtsukiOsanai]

• ICRA, arxiv
• ICRA2021
• Ego Carとthings, stuffのinteractionを考慮したドライバの挙動推定？

[AtsukiOsanai]

Introduction

• ego vehicleと物体，環境のインタラクションを理解することが重要
• データドリブンにインタラクションをモデリングしたい
• existing approachesの弱点
  • BEVの2D locationしか使っていない⇒ego-perspective viewも使うべき（人と同様に）
  • 3Dインタラクションをモデリングするのに2D pixel coordinateだけでは不足⇒BEV表現が必要
  • human-human，human-robotインタラクションしか考えていない⇒環境（レーンマーク・横断歩道など）も考慮すべき
• we propose a 3D-aware egocentric spatial-temporal interaction framework for automated driving applications
• Two Graphs
  • Ego-Thing Graph
  • car, pedestrians
  • related work
  • ego nodeを追加しego centric interactionをモデリング
  • objects' 3D locationを活用
  • Ego-Stuff Graph
  • lane markings, traffic lights
  • irregular stuff objectsを扱うためにMaskAlign Operationを提案
• Honda Research Institute Driving Datasetで有効性を検証

[AtsukiOsanai]

Methods

• Overall
  • video framesに対してsemsegとinstance segを適用⇒thingsとstuffをextract
  • object featureはRoiAlignとMaskAlignで抽出
  • 2つのGraphを構築しGCNでmessage passing
  • ２つのGraph featureをfuseしてTemporal modeling moduleへpropagate
  • I3D featureと上のfeatureをfuseしてegocentric representationを獲得
  • MLPでclassify ← ego vehicle state?

[AtsukiOsanai]

• Ego-Thing Graph
  • Thing classes: car, person, bicycle, motorcycle, bus, train, and truck
  • Mask R-CNNでbboxを検出→Top K(=20)をkeep → RoiAlign + Max Poolingで外観特徴x(D次元)をえる
  • 外観特徴xと3D location pをグラフのノードとする（Egoを含めた(K+1)個のノード）
  • エッジの重みはp_i, p_j，および外観x_i, x_jの相関で重みづけ
    
  • 3D locationはdepth estimationで得るデプスからbboxのセンターに対応するdepthを抜き取得
  • f(p_i, p_j)は閾値を用いたindicator function
• Ego-Stuff Graph
  • Stuff classes: Crosswalk, Lane Markings, Lane Separator, Road, Service Lane, Traffic Island, Traffic Light and Traffic Sign
  • Stuffはbboxで表現するのは不十分→セマセグのスコアを利用したMask Alignを提案
  • セマセグのスコアを利用しクラスがあるピクセルにあるか否かのindicator map Mを作成
  • I3Dの特徴マップXをMで重み付け和をとることでノードxを得る
  • インタラクション
  • Stuff-Stuffのインタラクションは考えない
  • Stuff-Thing except Egoも考えない
  • Stuff-Egoのみ考える
  • 3D locationはMask Mの全てのpixelに対するlocationを計算した上で，EgoとのEuclidean distanceが最小になる3D locationを用いる
• Reasoning on Graphs
  • インタラクションを扱うのにGCNを利用
  • Residual connectionも使用

• Temporal Modeling

  • GCNは各フレーム独立に処理
  • Temporal contextを扱うためにTemporal fusion moduleを使用
  
  • 注目するのはEgo Nodeのみ
  • Egoに対応するEgo-Thing＆Ego-Stuffのノードの値を加算
  • 時間方向のMax PoolingをかけてGCN Egocentric Featureを取得
    • MLPやGAPも試したがMaxがベスト

[AtsukiOsanai]

Experiments

• Honda Driving Dataset
  • 104 hrs ego centric videos
  • annotations of tactical driver behavior
  • including 4 layer representation of behavior
  • Goal-oriented action: left turn and right lane lane change
  • Cause: stop for crossing vehicle
• Goal oriented Action Layer
  • egoとtraffic laneのインタラクションにより精度改善と主張
  • lane changeの時にtraffic line見るか？
  • インタラクションの話をしているのにそれを考慮していないI3Dがベースラインって如何なものか？

• Cause Layer

  

• Ablation Study

  • ThingもStuffもGraphに入れたほうがbetter
  • AppearanceとSpatialどっちも大事
  • Max Poolingがベスト

• Visualization
  • アクションに対応したattentionがかかっているように見える
  • どうやって実装したか不明

[AtsukiOsanai]

所感

• ThingだけでなくStuffを取り込んだ点が新しい
• 路面の多様性が増すほどにStuffは大事になりそう
• あるいは交通標識などルールが増えるなど
• Attentionが1~2クラスにしか当たらないのはそういうものだろうか？
  • より多様なインタラクションが出ると面白いと思ったのだが
  • また改善の余地あり？それともドライビング中のAttentionなんてこんなもの？
• baselineがI3Dなのは微妙
  • 他のインタラクションを考慮したモデルと比較した方が良い
• behavior estimation以外への応用も興味深い
• depth推定はグラフに表現していないだけ？