TMats
commented
5 years ago 1. どんなもの？
- goal-conditionalなRLは，goalとの距離(マハラノビス距離)を報酬として利用することで，タスクごとにわざわざ報酬を設定しなくてもいいメリットがある
- 例えば，目標状態の画像を与える
- この論文では学習した(beta)VAEのzの距離を用いる
- 遡ってゴールをリラベリングする手法も提案
- 半分のゴールはpriorから生成，もう半分はtrajectoryから持って来る
2. 先行研究と比べてどこがすごい？
- 初めて画像のみのgoal-conditionalなRLを実現
- サンプル効率を高めるためにリラベリングを導入
3. 技術や手法のキモはどこ？
- VAEを用いてゴールとの潜在空間上の距離を測り報酬に用いる
- ゴールをpriorからサンプルして，自身でゴールを生成してtrain
4. どうやって有効だと検証した？
アームでマニピュレーションタスク
- mujocoのpusherと実機
- 画像のみのRLで実験
- 物体の位置，アームの状態は入力に含めない
5. 議論はある？
将来来るべき方向性
- 違うモダリティによるゴール表現(マルチモーダル)
- 効率的な探索手法
- e.g) curiosity
- ダイナミクスを考慮した潜在状態表現学習
- 状態表現のむずかしいタスクへの応用
- e.g) ロープなど不定形のものによるタスク
- マルチタスク学習・meta-learning
6. 次に読むべき論文は？
ゴールのリラベリング
- Hindsight Experience Replay #182
- TDM #232
7. メモ
- マルチモーダルでsharedなzでconditionされたRLはやったほうがいいと思う
- ~disentangleな表現の利用すると良い？~
- ~生成するimagined goalのバリエーション的に？~
- ~単にVAEでエンコードするより良い距離になるかもしれない？~
- すでにこの論文でbeta-VAE使ってた． ただしdisentangleの効果に関する記述が欠けている (betaに関する実験がない)気がする．
https://arxiv.org/abs/1807.04742
Visual Goal-Conditioned Reinforcement Learning by Representation Learningblog
website