IMPALA: Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures

[kuto5046]

Espeholt, Lasse et al. http://arxiv.org/abs/1802.01561

[kuto5046]

学習資源を効率的に使用可能な分散学習エージェントIMPALAと、actorとlearnerをうまく切り離すoff-polcyの学習アルゴリズムV-traceを提案。IMPALAではlearnerからactorに直接パラメータを渡して学習。分散計算資源を容易に拡張でき、マルチタスクにも適用可能。