Breakout score가 의아한부분이나옵니다.

complexhhs commented 6 years ago

BreakoutDeterministic-v4 A3C코드를 그대로 실행시켜 보았는데요 GTX 1060ti 환경에서 약 6시간 정도 경과-episode는 7000만회에 근접중- score가 0값으로만 보여주고있습니다. 책에서는 26시간정도 학습시켜서 좋은결과가 나왔다고 하셔서 지금 기다려보고있긴한데, 아예 학습의 진전이 보이지 않아서 문제가 생긴거 아닌가하는 궁금증이 생깁니다.

dnddnjs commented 5 years ago

늦은 답변 죄송합니다. 혹시 그 이후로도 계속 같은 현상이 발생했었나요?

complexhhs commented 5 years ago

Breakout에서 추가적인 실험은 안해서 잘 모르겠습니다. 다만 개인적으로 DRQN으로 DOOM에 실험한 코드에서 이미지 변환 모듈을 다른것으로 사용했더니 잘되더군요. 그래서 이미지 변환과정서 잘 안되었지 않았나 싶습니다.

1. 1. 오후 4:36에 "Woongwon Lee" notifications@github.com님이 작성:

늦은 답변 죄송합니다. 혹시 그 이후로도 계속 같은 현상이 발생했었나요?

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub https://github.com/rlcode/reinforcement-learning-kr/issues/23#issuecomment-445439478, or mute the thread https://github.com/notifications/unsubscribe-auth/AnAmIWUi0Mw1P8S5ZV7vpauqmqIz1tH7ks5u22v8gaJpZM4VGK9P .

dnddnjs commented 4 years ago

저는 최근에 다시 코드를 돌려서 학습해봤는데 이상없이 됐어요. 제가 학습하면서 찍은 로그에요. 혹시 사용한 이미지 변환 모듈이 뭔지 알려주실 수 있나요?

episode: 40537 score: 380.0 step: 1344 episode: 40538 score: 188.0 step: 985 episode: 40539 score: 404.0 step: 1429 episode: 40540 score: 31.0 step: 697 episode: 40541 score: 15.0 step: 599 episode: 40542 score: 26.0 step: 839 episode: 40543 score: 45.0 step: 886

rlcode / reinforcement-learning-kr

Breakout score가 의아한부분이나옵니다. #23