Open Mizar77 opened 1 month ago
P175中介绍PPO是off-policy的,并通过off-policy中的importance-sampling方法推导PPO的算法,但OpenAI中关于PPO的介绍是on-policy的,推导是TRPO的一阶求解方法。(具体详见:https://spinningup.openai.com/en/latest/algorithms/ppo.html)
https://www.yejiefeng.com/articles/2024/03/10/1710048235803.html
P175中介绍PPO是off-policy的,并通过off-policy中的importance-sampling方法推导PPO的算法,但OpenAI中关于PPO的介绍是on-policy的,推导是TRPO的一阶求解方法。(具体详见:https://spinningup.openai.com/en/latest/algorithms/ppo.html)