search

TianhongDai / hindsight-experience-replay

This is the pytorch implementation of Hindsight Experience Replay (HER) - Experiment on all fetch robotic environments.
MIT License
396 stars 75 forks source link

about replay buffer #22

Open Mickeyyyang opened 2 years ago

Mickeyyyang commented 2 years ago

请问训练过程中的经验数据是在电脑硬盘还是存在内存？存在内存的话如果状态空间中有图像是不是很容易就存满了。 ---入门rl新人求解

TianhongDai commented 2 years ago

请问训练过程中的经验数据是在电脑硬盘还是存在内存？存在内存的话如果状态空间中有图像是不是很容易就存满了。 ---入门rl新人求解

是存在内存上的；确实，如果状态空间有图像的话就很容易存满。如果必须得存图像的话，你可以尝试将图像信息存成uint8格式，尽量降低内存。