Survey on how to vectorize in other frameworks

[sotetsuk]

SyncVectorEnv と MarkovVectorEnv を使った比較は最低限行って、rllib を使ったものも追加でやるのがいいか。

OpenSpiel

• open_spiel.python.vector_env import SyncVectorEnv
  • example: open_spiel/python/examples/ppo_example.py
• github.com/ray-project/ray/rllib/examples/self_play_with_open_spiel.py

PettingZoo

• Use Supersuit MarkovVectorEnv, pettingzoo_env_to_vec_env_v1, concat_vec_envs_v1
  • example: github.com/vwxyzjn/cleanrl/cleanrl/ppo_pettingzoo_ma_atari.py
• example: thu-ml/tianshou
• https://github.com/Farama-Foundation/SuperSuit/issues/43
• Use ray?

[sotetsuk]

https://note.com/npaka/n/n5d7d235ad8bc#ccm2Q

[nissymori]

compile速度のbenchmarkに倣いました.

library	game	type	n_envs	steps	time	time per step
open_spiel	go	subprocess	10	1000	2.58	0.000258s
petting_zoo	go	subprocess	10	1000	4.22	0.000422s
open_spiel	go	forloop	10	1000	1.32	0.000132s
petting_zoo	go	forloop	10	1000	9.42	0.000942s

[nissymori]

open_spielとpetting zooでsubproc, forloopの速度の関係が逆なのが気になっています. stable_baselinesの実装が悪いのか, open_spielがsub_processに向いていないのか. 少し調べてみます.

[sotetsuk]

compile速度のbenchmarkに倣いました.

library game type n_envs steps time time per step open_spiel go subprocess 10 2.84 0.000284s
petting_zoo go subprocess 10 4.69 0.000469s
open_spiel go forloop 10 1000 1.35 0.000135s petting_zoo go forloop 10 1000 9.46 0.000946s

library	game	type	n_envs	steps	time	time per step
open_spiel	go	subprocess	10	1000	2.84	0.000284s
petting_zoo	go	subprocess	10	1000	4.69	0.000469s
open_spiel	go	forloop	10	1000	1.35	0.000135s
petting_zoo	go	forloop	10	1000	9.46	0.000946s

こう？まあ 0.0001 sec/step のオーダーではfor-loopの方が速く、0.000946=0.001 sec/stepのオーダーではsubprocessの方が速いって考えれば別におかしくはないと思いますけど。 でもobservationとかの転送速度とかがOpenSpielで遅くなったりしてないか確認したほうがいいかもですね。

[nissymori]

そうですね. 転送速度とりあえず調べてみます．

[nissymori]

TODO 速度比較

• [x] file分ける
• [x] 1秒当たりのstep数を測られるように.
• [x] petting_zooのsubprocはssを使う.

open spiel subproc 実装方法比較

• tinshou
  • [x] copy
  • [x] 改変+動くこと確認
  • [x] 差分 & 速度チェック