search

opendilab / PPOxFamily

PPO x Family DRL Tutorial Course（决策智能入门级公开课：8节课帮你盘清算法理论，理顺代码逻辑，玩转决策AI应用实践 ）
https://opendilab.github.io/PPOxFamily/
Apache License 2.0
1.89k stars 169 forks source link

Chapter2 Discussion #10

Open PaParaZz1 opened 1 year ago

PaParaZz1 commented 1 year ago

本 issue 将会追踪和记录各种有关课程第二讲的问题和思考，欢迎有兴趣的同学在这个 issue 中评论，课程组会定期整理信息。

最新的 第二讲QA 合集文档（2023.05.24更新）

EasonQYS commented 1 year ago

这个应用案例Windows下能运行吗？ 希望能推荐一些先运行起来的，先看代码后应用感觉比较难理解。 前三个代码运行好像都没有输出，怎么看有什么效果呢？

PaParaZz1 commented 1 year ago

这个应用案例Windows下能运行吗？ 希望能推荐一些先运行起来的，先看代码后应用感觉比较难理解。 前三个代码运行好像都没有输出，怎么看有什么效果呢？

应该是可以的，如果运行出现问题，可以贴一下报错截图or训练日志截图我们看下

cgchrfchscyrh commented 1 year ago

您好，请问如果是单智能体的多维离散动作空间，相对于路口控制场景的多智能体，代码方面应该如何修改呢？

PaParaZz1 commented 1 year ago

您好，请问如果是单智能体的多维离散动作空间，相对于路口控制场景的多智能体，代码方面应该如何修改呢？

课程第二讲中使用的multi_discrete方式，就是当做单智能体控制方式，即输入全局的 state，用多维离散 head（代码例子）来输出多个动作。如果是当做多智能体协作的方式来建模，应该参考课程第六讲，使用集中式训练分布式执行（CTDE）的范式来做。

fanbbbb commented 1 year ago

请问连续动作空间下的action mask该如何实现呢

PaParaZz1 commented 1 year ago

请问连续动作空间下的action mask该如何实现呢

这个具体是指什么样的 mask 呢，可以给一个更具体的例子么

7tosmoke commented 8 months ago

单智能体的多维离散动作空间PPO损失函数的熵该怎么确定呢，虽然按照multihead输出了，但是熵还是维度的指数级吧，请教一下这个熵是怎么设置的

huangxiaobing12 commented 3 months ago

想问一下作业里的代码实践第一题重参数化，为什么不使用重参数化求梯度时第一项梯度为0呢