Open Buddies-as-you-know opened 1 year ago
https://arxiv.org/pdf/1912.06321.pdf
Habitat-PyRobot Bridge (HaPy) というソフトウェアライブラリを開発し、シミュレーションで学習したナビゲーションエージェントをロボットに簡単にデプロイできるようにした。
シミュレーションと現実世界の性能の相関係数(SRCC)を提案し、シミュレーションの予測力を評価する指標とした。
HabitatシミュレーターのパラメータをSRCCを最適化するように調整し、現実世界での予測力を大幅に向上させた。
CVPR 2019のHabitatチャレンジで良い成績をおさめたエージェントが、現実ロボットでは同等の性能が出せないことを示した。
先行研究では、シミュレーションで学習したナビゲーションエージェントを現実ロボットにデプロイする研究はありましたが、シミュレーションと現実の性能差を定量評価しているものはほとんどありませんでした。
相関係数SRCCを導入し、シミュレーションの予測力を数値化することに成功
シミュレーションを現実世界の予測力で評価し、その相関係数を最適化することでシミュレーターを改善するアイデア
SRCC(Sim-to-Real Correlation Coefficient)は、シミュレーションと現実世界でのナビゲーション性能の相関係数です。 論文で使用されている9つのナビゲーションモデルは以下の通りです。
Depth - Train(sliding=off, noise=0.5)
Depth - Train(sliding=off, noise=1.0)
Predicted depth - Train(sliding=off, noise=0.5)
Predicted depth - Train(sliding=off, noise=1.0)
RGB - Train(sliding=off, noise=0.5)
RGB - Train(sliding=off, noise=1.0)
Depth - Train(sliding=on, noise=0)
Predicted depth - Train(sliding=on, noise=0)
RGB - Train(sliding=on, noise=0) 具体的には以下の手順で計算されます:
n個のナビゲーションモデルについて、シミュレーションと現実世界で並行に評価実験を行う。 各モデルiについて、シミュレーションでの性能をsi、現実世界での性能をriとする。 性能指標としては、成功率やSPL (Success weighted by Path Length) などを用いる。 n個の(si, ri)のデータセットから、サンプルのピアソンの相関係数を計算する。この値がSRCCとなる。 SRCCは-1から1の値を取り、1に近いほどシミュレーションと現実世界の性能が高い正の相関があることを示す。
環境はHabitatシミュレーターと現実の部屋を使用。センシングはRGBカメラとデプスカメラ。ナビゲーションはPointGoalタスク。特徴量はResNet50で抽出。
P_opt: 最短経路の長さ
P_agent: エージェントの移動した経路の長さ
つまり、SPLは以下の2つの要素の積で計算されます:
成功率(S) : ゴールに到達できたかどうか 相対的な経路長(P_opt / P_agent): エージェントの経路長を最短経路長で割ったもの SPLは、単に成功率だけでなく、経路の効率性も考慮した指標です。
論文リンク
https://arxiv.org/pdf/1912.06321.pdf
1. どんなもの？
Habitat-PyRobot Bridge (HaPy) というソフトウェアライブラリを開発し、シミュレーションで学習したナビゲーションエージェントをロボットに簡単にデプロイできるようにした。
シミュレーションと現実世界の性能の相関係数(SRCC)を提案し、シミュレーションの予測力を評価する指標とした。
HabitatシミュレーターのパラメータをSRCCを最適化するように調整し、現実世界での予測力を大幅に向上させた。
CVPR 2019のHabitatチャレンジで良い成績をおさめたエージェントが、現実ロボットでは同等の性能が出せないことを示した。
2. 先行研究と比べてどこがすごいの？
先行研究では、シミュレーションで学習したナビゲーションエージェントを現実ロボットにデプロイする研究はありましたが、シミュレーションと現実の性能差を定量評価しているものはほとんどありませんでした。
相関係数SRCCを導入し、シミュレーションの予測力を数値化することに成功
3. 技術や手法の"キモ"はどこにある？
シミュレーションを現実世界の予測力で評価し、その相関係数を最適化することでシミュレーターを改善するアイデア
4. どうやって有効だと検証した？
SRCC(Sim-to-Real Correlation Coefficient)は、シミュレーションと現実世界でのナビゲーション性能の相関係数です。 論文で使用されている9つのナビゲーションモデルは以下の通りです。
Depth - Train(sliding=off, noise=0.5)
Depth - Train(sliding=off, noise=1.0)
Predicted depth - Train(sliding=off, noise=0.5)
Predicted depth - Train(sliding=off, noise=1.0)
RGB - Train(sliding=off, noise=0.5)
RGB - Train(sliding=off, noise=1.0)
Depth - Train(sliding=on, noise=0)
Predicted depth - Train(sliding=on, noise=0)
RGB - Train(sliding=on, noise=0) 具体的には以下の手順で計算されます:
n個のナビゲーションモデルについて、シミュレーションと現実世界で並行に評価実験を行う。 各モデルiについて、シミュレーションでの性能をsi、現実世界での性能をriとする。 性能指標としては、成功率やSPL (Success weighted by Path Length) などを用いる。 n個の(si, ri)のデータセットから、サンプルのピアソンの相関係数を計算する。この値がSRCCとなる。 SRCCは-1から1の値を取り、1に近いほどシミュレーションと現実世界の性能が高い正の相関があることを示す。
5. 論文において、研究の成果やデータに基づいて、その意義や影響、さらには限界点について詳細かつ適切に分析や評価がなされている部分は存在するのでしょうか？
6. 次に読むべき論文はあるか？
7.使用している環境、センシング、ナビゲーション、特徴量はなに？
環境はHabitatシミュレーターと現実の部屋を使用。センシングはRGBカメラとデプスカメラ。ナビゲーションはPointGoalタスク。特徴量はResNet50で抽出。
8. わからない文字
P_opt: 最短経路の長さ
P_agent: エージェントの移動した経路の長さ
つまり、SPLは以下の2つの要素の積で計算されます:
成功率(S) : ゴールに到達できたかどうか 相対的な経路長(P_opt / P_agent): エージェントの経路長を最短経路長で割ったもの SPLは、単に成功率だけでなく、経路の効率性も考慮した指標です。
9.論文に使えそうな表現（あれば）
論文情報・リンク