NeRF2Real: Sim2real Transfer of Vision-guided Bipedal Motion Skills using Neural Radiance Fields

[Buddies-as-you-know]

論文リンク

1. どんなもの？

• この論文は訓練データに存在しない新しいクラスやタスクに対しても有用な予測をともなうsim2realで２つ足を持つロボットをvisionベースで動かす。
• シミュレーション環境はNeRFで作成。

  2. 先行研究と比べてどこがすごいの？

  課題

• 課題: 現実のシーンを正確かつリアルにシミュレーションすることは時間がかかる。
• フォトリアリスティックなシーンの再構築とレンダリングに対する既存のアプローチ、たとえば[5] – [ 8]のデータセットの作成に使用されているアプローチは、屋外シーンではあまり機能せず、広く利用可能ではない特殊な 3D スキャン設定を使用するため、適用性が制限されます。

  革新なところ

• スマホカメラでのNeRFを使用したリアルなシミュレーション
• 実世界へのゼロショット移行: 二足歩行ロボットのナビゲーションとボール押しスキルをシミュレーションで学習し、それを実ロボットへゼロショット（事前の調整なしに）で移行することに成功しています。
• 高い応用可能性: この技術はロボティクス分野での応用が期待されており、実世界の複雑な環境でのロボットのナビゲーションやタスク実行のトレーニングに有効です。また、現実のシーンを高精度にシミュレートすることで、より効果的な学習環境を提供することが可能です。

  3. 技術や手法の"キモ"はどこにある？

  

NeRF と物理シミュレータの統合

• 現実世界のシーンのビデオをキャプチャする
  • google pixel 6は５から６分の動画を取る
  • 一貫した照明を実現するために、ホワイト バランスと明るさを固定 (任意) 値に設定します。
• 　ローカリゼーション
  • SfTを使用hしてローカライゼーション
• NeRF トレーニング
• A. トレーニング時間
  • COLMAP ローカリゼーションには約 3 ～ 4 時間かかります。このデータセットで NeRF をトレーニングするには、8 台の V100 のクラスターで約 20 分
• NeRFをトレーニングさせる。
  • 様々な技術を用いて高速化と画質の向上を目指す。
• シミュレーションでのレンダリング
  • ロボットのカメラでもレンダリング
• 衝突メッシュの抽出
  • マーチングキューブアルゴリズムでメッシュ計算し
• 物理シミュレーション
  • MoJoを使用し部地理 　

    4. どうやって有効だと検証した？

    ナビゲーションおよび障害物回避タスクに関するトレーニング済みポリシーのシミュレーションおよび実際のパフォーマンス :ボールを押すタスクにおける訓練されたポリシーのシミュレーションと実際のパフォーマんす

5. 論文において、研究の成果やデータに基づいて、その意義や影響、さらには限界点について詳細かつ適切に分析や評価がなされている部分は存在するのでしょうか？

• 複雑なシーンの再現性: 実際の複雑な環境を完全に再現することは依然として課題です。特に、照明条件の変化や反射、透明な物体など、特定の環境要素はNeRFモデルでの正確な再現が困難です。
• 問題:空間すべてを使っているわけでなく作成されたロボットを動かす空間を自分たちで作っている小さいし現実社会にはあまり役立ちそうではない。

  6. 次に読むべき論文はあるか？

  5. A. Chang, A. Dai, T. Funkhouser, M. Halber, M. Niessner, M. Savva, et al., "Matterport3d: Learning from rgb-d data in indoor environments", arXiv preprint, 2017. 6. F. Xia, A. R. Zamir, Z. He, A. Sax, J. Malik and S. Savarese, "Gibson env: Real-world perception for embodied agents", Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 9068-9079, 2018. 7. J. Straub, T. Whelan, L. Ma, Y. Chen, E. Wijmans, S. Green, J. J. Engel, R. Mur-Artal, C. Ren, S. Verma et al., "The replica dataset: A digital replica of indoor spaces", arXiv preprint, 2019. 8. A. Szot, A. Clegg, E. Undersander, E. Wijmans, Y. Zhao, J. Turner, N. Maestre, M. Mukadam, D. S. Chaplot, O. Maksymets et al., "Habitat 2. 0: Training home assistants to rearrange their habitat", Advances in Neural Information Processing Systems, vol. 34, pp. 251-266, 2021.

  7.使用している環境、センシング、ナビゲーション、特徴量はなに？

  8. わからない文字

  9.論文に使えそうな表現（あれば）

• However, creating accurate and realistic simulations is time consuming. Therefore, for sim2real to live up to its full potential, we must make it easier to recreate real scenes in simulation while accurately modelling how robots sense and interact with the world.
• Existing approaches to photorealistic scene reconstruction and rendering, e.g. those used for the creation of the datasets in [5]–​[8], work poorly in outdoor scenes and use specialized 3d scanning setups which are not widely available, hence limiting their applicability.

  論文情報・リンク

• 著者，"タイトル，" ジャーナル名，voluem，no.，ページ，年