Visual-(Inertial)-SLAMいろいろ調査

[eryeden]

候補

• xivo : https://github.com/ucla-vision/xivo
• Kimera系
  • Kimera-RPGO(Robust Pose graph optimization) : https://github.com/MIT-SPARK/Kimera-RPGO
  • Kimera-VIO(Stereo Visual Inertial Odometry) : https://github.com/MIT-SPARK/Kimera-VIO#installation-instructions
  • Kimera(Root repository) : https://github.com/MIT-SPARK/Kimera
• DSM
  • https://arxiv.org/abs/1904.06577
  • https://github.com/jzubizarreta/dsm

[eryeden]

Kimera VIOについて

• Project page: https://github.com/MIT-SPARK/Kimera-RPGO
• Paper: https://arxiv.org/abs/1910.02490
• Outlier rejector: http://robots.engin.umich.edu/publications/jmangelson-2018a.pdf

充填調査項目

主に以下の内容について調査する。

• Feature tracking、そのOutlier除去
• 新規Landmarkの位置初期化、挿入判断
• BAを行うFrame、Landmarkの選択ロジック
• Map上のOutlier除去

内容

イントロ KimeraはSWのモジュラリティを意識して作られているので、Pose-graph最適化やVI-odomなど別々に動かすことができるらしい。VI-Odometryがどうなっているかが、ここでの注目的になるだろう。

Kimeraのポイントは以下のの３つ

1. RGB + Inertial sensor
2. Can run on CPU in realtime
3. Robustnessに着目、SOATなOutlier rejection methodを使っている

[eryeden]

VIO Front-end

• 特徴点：Shi-Tomasi corners
• トラッキング：Lukas-Kanade tracker
• Verification?特徴点の誤マッチ？の検出
  • mono: 5-point ransac。
  • stereo: 3-point ransac。
  • IMU併用で、1-point（ステレオ）か、2-point（Mono） ransacを利用する
• Key frameでの処理:
  • feature detection
  • geometric verification
• Intermediate frameでの処理:
  • Feature trackingのみ
• IMUは積分する

VIO Back-end

• Key frameに対してBA?を実施する
• Fixed-lag smootherなので固定WindowサイズでBAをやる感じなのかな？
• structureless vision model ???
• Factor graphは、GTSAMのiSAM2を使って解くらしい
• iSAM2での処理について
  • それぞれの最適化ステップで、DLTを使って観測したFeatureの３D positionを計算する、DLTで初期値設定されたものと言う意味？
  • VIO状態から、解析的に、関係する３D pointを除去する？？？？？
  • 除去に際して：
  • pointのdegenerateを行う；カメラの裏のポイントや、Triangulation時に十分な視差が内場合など
  • Outlierが除去される；Reprojection errorが大きいポイントは除去する
  • これによって、Extra robustness layerになるとある
  • Robustness layerとは？？？
  • Smoothing horizonに落っこちた様態が、merginalized outされる。

わかったこと

• KimeraもKey frameベース
• Key frameでは、毎回5点法＋RANSACでOutlierを除去している
• Key frameでないFrameはFeature pointの追跡のみやる
• トラッキングは Lukas-Kanade
• 特徴点はShi-Tomasi corner

わからないこと

• Keyframeの判定はどうする？
• Merginalize outの具体的意味は？