Stage 2-1

[Kazuhito00]

Stage

2-1

Status

• [x] Create Notebook
• [x] Clear

Challenge Notebook Link

https://colab.research.google.com/drive/1e-KNSFd5NBpUIqY9Z1HpXm3ehZwh9Q7r

Best Movie

https://user-images.githubusercontent.com/37477845/149168629-fd1626ed-1afc-40ed-8f70-bcff43e58f9e.mp4

Best Trained Model

https://drive.google.com/file/d/1SgstOE0JDPzx0DCmtAcHmCBrbxM_246Q/view?usp=sharing

Challenger

@Kazuhito00

[Kazuhito00]

Challenge 0001

設定

# Env Param
STAGE_NAME = 'SuperMarioBros-2-1-v0'
SKIP_NUMB = 4
STACK_FRAME_NUMB = 4
RESIZE_SIZE = 84

# Model Param
CHECK_FREQ_NUMB = 10000
TOTAL_TIMESTEP_NUMB = 5000000
LEARNING_RATE = 0.0001
GAE = 1.0
ENT_COEF = 0.01
N_STEPS = 512
GAMMA = 0.9
BATCH_SIZE = 64
N_EPOCHS = 10

# Test Param
EPISODE_NUMBERS = 20
MAX_TIMESTEP_TEST = 1000

MOVEMENT = [['NOOP'], ['right', 'B'], ['right', 'A', 'B']]

結果

https://user-images.githubusercontent.com/37477845/148553476-ff3f6e2b-a6c3-4f13-ba6a-13c8b3dab057.mp4

所感

ステージ2-1（ジャンプ台のやつ）で後退禁止は制約厳しすぎた👀

[karaage0703]

@Kazuhito00 おお！ゴール目前？？最後のジャンプは難所ですね…

[Kazuhito00]

@karaage0703 たしか、このジャンプ台のすぐあとがゴールですね。 急げ急げと行動を[['NOOP'], ['right', 'B'], ['right', 'A', 'B']]に制限してしまったので無理ゲーと化していました、、、 そして、パックンフラワーの避け方が人間技じゃない👀

[Kazuhito00]

Challenge 0002

設定

行動空間を後退有りに変更し、500万ステップ学習を実施。

MOVEMENT = [['left'], ['right', 'B'], ['right', 'A', 'B']]

結果

https://user-images.githubusercontent.com/37477845/148644329-c60a9ada-8e3f-44a7-8c27-9075f15ae912.mp4

所感

動き自体はかなり賢い気がする👀 グラフ的にはまだ打ち止め感は無いため、追加で学習を継続予定。

[Kazuhito00]

Challenge 0002

設定

以下変更を行い継続学習。

• スコア報酬廃止
• 同位置での立ち往生ペナルティ廃止

結果

https://user-images.githubusercontent.com/37477845/149168038-55a24e49-b49d-4b67-b9ed-92e3ae15ffb6.mp4

所感

クリア👻！