kunimasa-kawasaki
commented
2 years ago 日常作業を行う際に適切な道具を選択し、使用することは、家庭用ロボットを導入する上で重要な機能である。しかし、これまでの研究では、対象物への適応性に限界があり、道具の変更や動作の調整を適宜行うことが困難であった。道具を使って様々な物体を操作するためには、道具の機能を理解することと、道具-物体-動作の関係を見分けるために物体の特徴を認識することの両方が必要である。本研究では、ロボットが物体とのインタラクションを行う際に、マルチモーダルなセンサモータデータを用いた能動的知覚に着目し、ロボットに物体の外在的・内在的特性を認識させる。我々は、物体の特性を認識し、道具-物体-動作関係を獲得し、道具の選択と取り扱いのための動作を生成するために、学習するディープニューラルネットワーク（DNN）モデルを構築する。道具の使用状況の例として、ロボットがターナーやレードルを使って鍋からボウルに食材を移し替えるという食材移し替え作業を行う。その結果、対象となる食材が未知の場合でも、ロボットが物体の特徴や盛り付けを認識することが確認されました。また、画像、力、触覚データの寄与を調べ、様々なマルチモーダル情報を学習することで、道具を使うための豊かな知覚が得られることを示す。
How to select and use tools? : Active Perception of Target Objects Using Multimodal Deep Learning Namiko Saito, Tetsuya Ogata, Satoshi Funabashi, Hiroki Mori, Shigeki Sugano Best Paper Award of Cognitive Robotics in ICRA2021 IEEE Robotics and Automation Letters 2021, Proceedings of the 2021 International Conference on Robotics and Automation (ICRA 2021), 2021 https://arxiv.org/abs/2106.02445