kunimasa-kawasaki
commented
1 year ago ベンチマークは、客観的な性能指標を用いてアルゴリズムを比較する科学的な方法を提供します。優れたベンチマークには2つの特徴がある。(a)多くの研究グループにとって広く有用であること、(b)再現性のある知見をもたらすこと。ロボット操作の研究においては、再現性と幅広いアクセス性の間にトレードオフの関係がある。ベンチマークを限定的なもの（固定的なハードウェア、オブジェクト）にすると、数値の再現性は高くなるが、設定の汎用性は低くなる。一方、ベンチマークはプロトコルの緩やかなセット（例えばオブジェクトセット）であっても、セットアップの根本的なばらつきにより、結果は再現不可能になる。本論文では、ロボット操作のベンチマークを、通常のタスクと実験プロトコルに加えて、最先端のアルゴリズム実装として再想定している。追加されたベースライン実装は、新しいローカルなロボットセットアップでSOTA数値を簡単に再現する方法を提供し、その結果、既存のアプローチと新しい作品の間の信頼性の高い相対的なランキングを提供することになる。しかし、これらのローカルランキングは、異なるセットアップの間で異なる可能性があります。この問題を解決するために、研究室間で実験データをプールする仕組みを構築し、既存の（そして提案された）SOTAアルゴリズムに対する単一のグローバルランキングを確立しました。我々のベンチマークは、Ranking-Based Robotics Benchmark (RB2)と呼ばれ、臨床的に検証されたSouthampton Hand Assessment Proceduresから着想を得たタスクで評価される。我々のベンチマークは2つの異なるラボで実行され、いくつかの驚くべき結果を明らかにした。例えば、オープンループの行動クローニングのような極めて単純なベースラインは、現場で好まれているより複雑なモデル（クローズドループ、RNN、Offline-RLなど）を凌駕しています。私たちは、仲間の研究者がRB2を利用して、研究の品質と厳密性を向上させることを望んでいます。
RB2: Robotic Manipulation Benchmarking with a Twist Sudeep Dasari, Jianren Wang, Joyce Hong, Shikhar Bahl, Yixin Lin, Austin Wang, Abitha Thankaraj, Karanbir Chahal, Berk Calli, Saurabh Gupta, David Held, Lerrel Pinto, Deepak Pathak, Vikash Kumar, Abhinav Gupta accepted at the NeurIPS 2021 Datasets and Benchmarks Track https://arxiv.org/abs/2203.08098