Parameter Space Noise for Exploration

[icoxfog417]

一言でいうと

ノイズの入れ方で学習効率が大きく変わるという話。通常の強化学習では行動を決定した後にノイズで散らすが、提案手法は行動を決定するネットワーク自体にノイズを乗せる。既存の手法ではエージェントの意思決定とは無関係にノイズが作用するので、予測不能な探索をする可能性があったとのこと。

論文リンク

https://arxiv.org/abs/1706.01905

著者/所属機関

Matthias Plappert, Rein Houthooft, Prafulla Dhariwal, Szymon Sidor, Richard Y. Chen, Xi Chen, Tamim Asfour, Pieter Abbeel, Marcin Andrychowicz

• OpenAI
• Karlsruhe Institute of Technology

概要

新規性・差分

手法

結果

コメント

[matsu13an]

恣意的にノイズを組み込む事で意図的に学習させることが出来る(人間の学習にそういう面がある事は否めない)とも受取れると感じました. 影響度をフィードバックし、ノイズの入れ方のガイドラインを要すると思います.