加大训练强度

[kungfudante]

场景描述

所有修改都针对snake-ai/main/train_cnn.py中CUDA的部分 我想同时多开几个进程训练，于是NUM_ENV被我调成了128，但实际测试中显存占用并无明显增加： NUM_ENV = 32（图表中的PPO_7） NUM_ENV = 128（图表中的PPO_9） 训练速度（步数除以时间）也没有显著提升（见最后的图表） 我又修改了batch_size这个参数，从原来的512改成了 512*8，显存利用有些许提升，训练速度反而慢了

NUM_ENV = 128
batch_size=512*8

（图表中的PPO_10） 训练图表：

问题

1. 我对NUM_ENV的理解和配置是否有误？batch_size这个参数是控制什么的？
2. 如果我想尽可能加快训练，尽量把GPU的性能跑满，那我应该调整哪些参数？