Multi-Object Navigation in real environments using hybrid policies

[Buddies-as-you-know]

論文リンク

https://ieeexplore.ieee.org/document/10161030

title: "論文タイトル"

date: YYYY-MM-DD categories:

1. どんなもの？

この研究では、SLAMと学習ベースの探索ポリシーを組み合わせたハイブリッド手法を提案しています。メトリックマップとセマンティックマップの2つのマップ表現を利用して、環境内のウェイポイントナビゲーションと未知の領域の探索を行っています。

• 古典的なマッピングと深層学習を組み合わせたハイブリッド手法
• このマップ上のウェイポイント ナビゲーションと組み合わせたナビゲーション可能空間の検出や位置特定 (幾何学 SLAM) など、セマンティクスとは関係のない古典的なナビゲーションの側面を扱います。

• 2. 先行研究と比べてどこがすごいの？

シミュレーション環境ではSTATE-OF-THE-ARTを上回る性能を示し、

実環境でもEND-TO-ENDの手法より高い成功率を達成しています。実環境での評価がほとんどなかった本タスクで、有効性を実証した点がすごいと言えます。

• マルチオブジェクトナビゲーションタスクを実ロボット・実環境で評価した初めての研究である。先行研究はシミュレーション中心で実環境での評価は皆無であった。

• 学習ベースの手法と古典的な手法を組み合わせたハイブリッドなアプローチを提案。セマンティックマッピングに学習、ローカルナビに古典的手法を用いることでシミュレーション-実環境のギャップを最小化。

• 複数のサブタスクに分割し、それぞれを個別に訓練することで学習を効率化。エンドトゥエンドで全てを学習するのは非効率。

• 実環境での長時間探索・ナビゲーションの課題を考慮し、シンボリックプランナーを用いることでロバスト性を高めている。

• 学習ベースの探索ポリシーで先行研究よりもドメイン適応性能が高いことを実証。

• 古典的ロボティクス（GOFR）:

  • SLAM（同時局在化とマッピング）を利用して、ナビゲーション可能な空間の検出とローカライゼーションを行う。
  • リダー入力を用いてロボットを地図上でローカライズする2Dメトリック表現を作成・維持する。

• 機械学習によるセマンティクス:

  • 視覚的推論に必要なセマンティック概念をマッピングし、環境のレイアウトの規則性を利用して最も有望な領域を探索する。
  • 深層ニューラルネットワークから抽出された高レベルの特徴を持つ空間的・意味的な点群を形成し、これをメトリック表現と整合させる。

• ハイブリッド表現:

  • エージェントが必要とする関連するサブスキルのニーズを満たすために、古典的なメトリックSLAMと経路計画を学習したコンポーネントと組み合わせる。

• サブスキル:

  • 目標オブジェクトが過去に観察されたかを判断する。
  • エージェントと探索済みエリア間の最適な軌道を計画する。
  • 未探索エリアの境界を特定し、環境を探索して次の目標を見つけるための次の中間サブゴールを決定する。

• 貢献:

  • 複数オブジェクトナビゲーションのための古典的メトリックSLAMと学習したコンポーネントを組み合わせたハイブリッド方法を導入。
  • 実際の環境でMulti-ONベンチマークを再現し、元々シミュレートされた目標環境で使用される目標オブジェクトの製造再現を配置。
  • 実際の環境とシミュレートされた環境の両方で、エンドツーエンドで訓練された方法と比較し、特にCVPR 2021 MultiONコンペティションの勝利エントリーを上回る。

3. 技術や手法の"キモ"はどこにある？

セマンティックマップの構築に学習ベースの手法を使いつつ、ローカルナビゲーションにはSLAMとシンボリックな計画を用いることで、シミュレーションと実環境のGAPを小さくしている点がキモです。

4. どうやって有効だと検証した？

シミュレーションと実ロボットを用いた評価実験を行い、提案手法の有効性を検証しています。END-TO-ENDの手法と比較して、実環境で大幅に高い成功率を達成していることを示しています。

5. 議論はあるか？

実環境での長期ナビゲーションの実現可能性に関する議論があると思います。処理速度、マップの維持、误検出への対処などの課題が残っています。

6. 次に読むべき論文はあるか？

• Chaplot et al. "Learning to Explore using Active Neural SLAM" (ICLR 2020)
• Wani et al. "MultiON: Benchmarking Semantic Map Memory using Multi-Object Navigation" (NeurIPS 2020)
• Wani et al. "MultiON: Benchmarking Semantic Map Memory using Multi-Object Navigation"
• モジュラーな実体化ナビゲーション:
• 階層的およびハイブリッドアーキテクチャ: [4], [8], [7], [9]
• ナビゲーションから「どこを見るか？」のスキルを分離: [32]

Sim2Real (シミュレーションから現実へ):

• ドメインランダム化方法: [31], [38]
• ドメイン適応方法: [42], [16], [43]
• 双方向適応: [40]
• 実体化エージェントの堅牢性ベンチマーク: [11]
• Sim2real予測可能性とSRCCメトリック: [23]
• 実際のロボットでのPointGoalタスク: [34]

記憶とマップ (帰納的バイアス):

• ニューラルメモリと潜在的メトリックマップ: [29], [20]
• EgoMapと多段階目標と注意読み取り: [4]
• トポロジカルマップ: [35], [10], [4]
• トランスフォーマー: [30], [17], [13], [22], [14], [33]
• 暗黙的表現: [25], [2]

探索:

• 空間記憶を持つポリシー: [15]
• 観察一貫性に基づく意味的好奇心による探索ポリシー: [9]
• 3Dセマンティックマップを使用したアクティブ探索ポリシー: [6]
• エピソード的セマンティックマップ: [7]

7. わからない文字

• 学習ベースの探索ポリシー:環境内の未探索領域を発見し、次に移動すべきwaypointを予測するポリシーを強化学習

  7.論文に使えそうな表現（あれば）

論文情報・リンク

• 著者，"タイトル，" ジャーナル名，voluem，no.，ページ，年

[Buddies-as-you-know]

環境:

シミュレーション - Habitatシミュレータを使用 実環境 - ビルの会議室や部屋などの実際の空間を使用 センシング:

RGB-Dカメラ - 画像と深度情報の取得 Lidar - ナビゲーションのための障害物情報の取得 特徴量:

オブジェクト検出 - RGB画像から物体のセマンティック情報を抽出 メトリックマップ - Lidarで構築した2Dの占有グリッドマップ セマンティックマップ - 検出したオブジェクトの3D位置の点群 ナビゲーション手法:

探索ポリシー - 強化学習で学習 waypointナビゲーション - メトリックマップ上をD*アルゴリズムで計画 SLAM - Lidarとオドメトリで自己位置推定とマッピング

[Buddies-as-you-know]

[4] E. Beeching, J. Dibangoye, O. Simonin, and C. Wolf. Learning to reason on uncertain topological maps. In European Conference on Computer Vision (ECCV), 2020. [8] Devendra Singh Chaplot, Dhiraj Gandhi, Saurabh Gupta, Abhinav Gupta, and Ruslan Salakhutdinov. Learning to explore using active neural slam. In ICLR, 2020. [7] Devendra Singh Chaplot, Dhiraj Gandhi, Abhinav Gupta, and Ruslan Salakhutdinov. Object goal navigation using goal-oriented semantic exploration. In NeurIPS, 2020. [9] Devendra Singh Chaplot, Helen Jiang, Saurabh Gupta, and Abhinav Gupta. Semantic curiosity for active visual learning. In ECCV, volume 12351, pages 309–326. Springer, 2020.

[Buddies-as-you-know]

[31] Xue Bin Peng, Marcin Andrychowicz, Wojciech Zaremba, and Pieter Abbeel. Sim-to-real transfer of robotic control with dynamics randomization. In IEEE International Conference on Robotics and Automation, ICRA, pages 1–8, 2018. [38] Jie Tan, Tingnan Zhang, Erwin Coumans, Atil Iscen, Yunfei Bai, Danijar Hafner, Steven Bohez, and Vincent Vanhoucke. Sim-to-real: Learning agile locomotion for quadruped robots. In Robotics: Science and Systems, 2018.

[Buddies-as-you-know]

[6] Devendra Singh Chaplot, Murtaza Dalal, Saurabh Gupta, Jitendra Malik, and Ruslan Salakhutdinov. SEAL: self-supervised embodied active learning using exploration and 3d consistency. In NeurIPS, pages 13086–13098, 2021.