Buddies-as-you-know / paper-survey

0 stars 0 forks source link

Sim-to-Real Transfer for Vision-and-Language Navigation #16

Open Buddies-as-you-know opened 1 year ago

Buddies-as-you-know commented 1 year ago

論文リンク

https://proceedings.mlr.press/v155/anderson21a/anderson21a.pdf

title: "Sim-to-Real Transfer for Vision-and-Language Navigation"

1. どんなもの?

スクリーンショット 2023-11-04 18 42 24

Coda(商業オフィスビル内の共有スペース)が未知のテスト環境として選ばれています。Codaは個人的なアイテムがなく、環境の変化が少ないため、シミュレータと実際の環境の違いが最小限に抑えられます。

シミュレータの構築

Matterport3D Pro 2カメラとMatterport3Dウェブサービスを使用してCodaを再構築し、シミュレータ環境を作成しています。65のカメラ視点からのポイントクラウド、テクスチャメッシュ、全天周画像、各カメラ視点のポーズ、および視点間の可視性を表す「可視性グラフ」をダウンロードします。ロボットがアクセスできない場所の視点を除外し、可視性グラフから5m以上のエッジを除外してナビゲーショングラフを構築しています。

ナビゲーション指示の収集

最短経路の軌跡をサンプリングし、注釈者に3Dウェブインターフェースを使用してこれらのパスを記述させています。言語ガイド付きナビゲーションのデータとして、Amazon Mechanical Turkを使用して各軌跡に対して4つの英語のナビゲーション指示を収集しています。

ロボットプラットフォーム

実験には、TurtleBot2ロボットを使用しています。360°ビジョンを持つエージェントを模倣するために、360°の消費者向けRGBカメラを装備しています。障害物回避とマッピングのために、2Dレーザースキャナーを搭載しています。ロボットはROS-kineticを実行し、PyTorchを含む標準のROS/TurtleBotパッケージを使用しています。

評価指標

標準的なVLNメトリクスを使用して、シミュレーションと実際のロボットの両方で評価を行っています。成功率、トラジェクトリの長さ、ナビゲーションエラー、オラクル成功率、効率と軌跡忠実度に基づく成功率(SPL)など、複数の指標を報告しています。

ロボットのポーズ追跡

ロボットのポーズを知るために、事前にロボットをCoda内で遠隔操作し、レーザースキャナーとROS gmapping SLAMパッケージを使用してマップを作成しています。実験中のロボットのポーズを追跡するために、ROS amclパッケージによるパーティクルフィルタを使用しています。

4. どうやって有効だと検証した?

Buddies-as-you-know commented 1 year ago

実験環境:

325平方メートルのオフィス空間(Coda)を実環境として使用。 Matterport3DカメラでCodaをスキャンしてシミュレーション環境を構築。

センシング:

360度RGBカメラ(Ricoh Theta V) 270度レーザースキャナー

特徴量:

Resnet-152で抽出した画像特徴量

ナビゲーション:

VLNエージェントによる高水準の行動決定 サブゴール予測モデルによる方式点予測 ROSのナビゲーションパッケージ(SLAM、歩行計画など)による低水準の制御

Buddies-as-you-know commented 1 year ago

実験環境:

325平方メートルのオフィス空間(Coda)を実環境として使用。 Matterport3DカメラでCodaをスキャンしてシミュレーション環境を構築。

センシング:

360度RGBカメラ(Ricoh Theta V) 270度レーザースキャナー

特徴量:

Resnet-152で抽出した画像特徴量

ナビゲーション:

VLNエージェントによる高水準の行動決定 サブゴール予測モデルによる方式点予測 ROSのナビゲーションパッケージ(SLAM、歩行計画など)による低水準の制御