search

starry-sky6688 / MADDPG

Pytorch implementation of the MARL algorithm, MADDPG, which correspondings to the paper "Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments".
537 stars 83 forks source link

关于增加agent数量后算法结构的调整 #7

Closed wawachen closed 3 years ago

wawachen commented 3 years ago

当把agent数量增大到10 以上后， critic 网络的输入量过大， 学习效率低， 是否应该对critic网络的结构进行修改（比如增大隐藏层神经元的数量或者增大层数）， 望赐教！

starry-sky6688 commented 3 years ago

可以增大隐藏层维度或者网络层数，增大后训练速度应该会变慢；

如果你的环境中agent同质或者比较相似的话，你可以试一试共享神经网络，只训练一个神经网络，每个agent都通过这个神经网络进行决策，不过这样需要你自己修改代码了

wawachen commented 3 years ago

可以增大隐藏层维度或者网络层数，增大后训练速度应该会变慢；

如果你的环境中agent同质或者比较相似的话，你可以试一试共享神经网络，只训练一个神经网络，每个agent都通过这个神经网络进行决策，不过这样需要你自己修改代码了

顺便问一下大佬一些训练技巧， 如何快速迭代训练代码？ 比如我现在正在训练一个算法，然后我觉得代码的某一个部分可以改成别的参数， 但由于当前代码正在跑着等结果，然后又不想直接在正在训练的算法上修改（万一这个方法效果好），该如何做了？ 我现在的做法是另外写一个更新后的文件然后用另一个terminal去运行，不知大佬是如何做的。

starry-sky6688 commented 3 years ago

这个貌似只能像你说的那样，重开一个进程去运行了