pocokhc
commented
8 months ago (If English is required, please use automatic translation)
問題報告ありがとうございます。 確認中ですが、まだ時間がかかりそうなので取り急ぎの返信となります。
一応既知の問題として、Memory(RLMemory)はOS側のサイズを確認していないのでバッチを追加し続けるとメモリが枯渇する問題があり、これと切り分けている最中となります。 R2D2/Agent57は履歴も含めてバッチを作成するのでそこそこのサイズになります。
import pickle
import srl
from srl.algorithms import r2d2
from srl.base.define import EnvObservationTypes
from srl.rl.processors.image_processor import ImageProcessor
env_config = srl.EnvConfig(
"ALE/Pong-v5",
kwargs=dict(frameskip=7, repeat_action_probability=0, full_action_space=False),
)
rl_config = r2d2.Config()
rl_config.burnin = 40
rl_config.sequence_length = 80
rl_config.processors = [
ImageProcessor(
image_type=EnvObservationTypes.GRAY_2ch,
trimming=(30, 0, 210, 160),
resize=(84, 84),
enable_norm=True,
)
]
rl_config.use_rl_processor = False
runner = srl.Runner(env_config, rl_config)
# --- 1episode
runner.rollout(max_episodes=1)
# --- look batch size(ave. 3M)
for _ in range(100):
batch = runner.memory.sample(1, 0)
print(f"size: {len(pickle.dumps(batch))}")pickle化後でも3Mbyte程のサイズになるので、16GBのメモリで5000個あたりが限界になる計算です。 もしよければ以下で事象が再現するかご確認いただけますでしょうか。
import srl
from srl.algorithms import r2d2
from srl.base.define import EnvObservationTypes
from srl.rl.processors.image_processor import ImageProcessor
from srl.utils import common
common.set_logger()
def _create_runner():
env_config = srl.EnvConfig(
"ALE/Pong-v5",
kwargs=dict(frameskip=7, repeat_action_probability=0, full_action_space=False),
)
rl_config = r2d2.Config()
rl_config.burnin = 40
rl_config.sequence_length = 80
rl_config.memory.warmup_size = 100
rl_config.processors = [
ImageProcessor(
image_type=EnvObservationTypes.GRAY_2ch,
trimming=(30, 0, 210, 160),
resize=(84, 84),
enable_norm=True,
)
]
rl_config.use_rl_processor = False
runner = srl.Runner(env_config, rl_config)
return runner
def train():
runner = _create_runner()
runner.set_progress_options(interval_limit=5)
runner.enable_stats() # pip install psutil
if True: # change
runner.rl_config.memory.capacity = 100
runner.train_mp(timeout=60 * 10, queue_capacity=100)
if __name__ == "__main__":
train()
memory.capacityでRLMemoryの上限を設定できます。 この値を設定する場合としない場合でメモリが枯渇するかどうかを確認したいと考えています。 また、"runner.enable_stats()"でprintの中にCPU率とメモリ率が表示されるようになります。（pip install psutil が必要です）
＞or memory profiling using memray is more informative: memrayは初めて知りました。割と最近できたメモリプロファイルなんですね、勉強になります。
＞大変有用なフレームワークをMITライセンスで公開いただき，ありがとうございます． ありがとうございます！そう言っていただけるとモチベーションに繋がります。
skatayama
Describe the bug
The following python code, modified from example/sample_atari.py to use r2d2 with sequence_length=80, gradually consumes lots of memory until the whole process is killed. Although the queue_capacity is set to 1, memory profiling result from memray suggests the `get' function of multiprocessing.queues consumes lots of gigabytes. Using train instead of train_mp, or using less burnin and sequence_length does not result in the symptom. Using agent57 instead of r2d2 does not solve the problem.
下記のコード（examples/sample_atari.pyをr2d2用に変更したもの）を実行すると、最初は6GBくらいなのですが、少しずつメモリ使用量が増大して行き、最終的にKilledになります。queue_capacityは1にしてありますが、(memrayでプロファイルした結果）multiprocessing.queuesのget関数がメモリを消費しているようです。train_mpの代わりにtrainを使ったり、burnin, sequence_lengthをそれぞれ減らすとこのような問題は起こりません。r2d2でもagent57でも同様の挙動があります．
To Reproduce
or memory profiling using memray is more informative:
Expected behavior
The gradual and perpetual increase in the memory consumption should not happen.
Versions
大変有用なフレームワークをMITライセンスで公開いただき，ありがとうございます．