kunimasa-kawasaki
commented
1 year ago 強化学習は、ロボットの動作スキルの自動的な習得のための強力かつ柔軟なフレームワークを提供する。しかし、強化学習を適用するには、タスクに関連するオブジェクトの配置を含む、十分に詳細な状態表現が必要である。我々は、カメラ画像から直接状態表現を学習することにより、状態空間構築を自動化するアプローチを提示する。本手法は、深い空間オートエンコーダを用いて、オブジェクトの位置など現在のタスクの環境を記述する特徴点のセットを取得し、局所線形モデルに基づく効率的な強化学習法を用いて、これらの特徴点を用いた動作スキルを学習する。その結果、学習された特徴点に対してコントローラが連続的に反応し、ロボットは閉ループ制御で世界の物体を動的に操作できるようになる。我々はPR2ロボットを用いて、自立したおもちゃのブロックを押す、ヘラを用いて米袋を拾う、フックに掛けたロープを様々な位置に吊るすといったタスクで本手法を実証した。本手法は、各タスクにおいて、タスクに関連する物体を追跡し、その形状をロボットの腕で操作することを自動的に学習する。
Deep Spatial Autoencoders for Visuomotor Learning Chelsea Finn, Xin Yu Tan, Yan Duan, Trevor Darrell, Sergey Levine, Pieter Abbeel Published in the International Conference on Robotics and Automation (ICRA) https://arxiv.org/abs/1509.06113