rlcode / reinforcement-learning-kr

[파이썬과 케라스로 배우는 강화학습] 예제
MIT License
371 stars 228 forks source link

멀티쓰레드 학습에 관련해서 질문이 있습니다. #38

Open wangyu92 opened 4 years ago

wangyu92 commented 4 years ago

안녕하세요. 책을 보고 많은 도움을 받고 있습니다. 추가적으로 코드를 보며 궁금증이 생겨 이렇게 글을 남깁니다.

  1. Keras로 생성한 모델이 thread safe 한가?
  2. 만약 그렇다면 굳이 central agent의 파라미터와 worker agent의 파라미터를 왜 따로 두는 것인가?

질문은 크게 두 가지입니다. 코드를 보면 각 worker agent들이 global network의 파라미터를 직접 학습하고 주기적으로 global network의 파라미터들을 worker agent로 셋팅하는 것으로 구현되어 있습니다. 첫 번째 질문은 이렇게 글로벌 네트워크에 동시다발 적으로 접근하여 파라미터를 변경해도 상관없는지와 만약 상관이 없다면 굳이 worker agent에도 모델을 두는 이유가 궁금합니다. 그냥 여러 agent가 global network의 파라미터만 변경 시켜도 상관없는 것이 아닌가요?