의견, 소식 공유

[WinteringAsch]

Google Next Extended Seoul 2018 | Festa! https://festa.io/events/104 [Google Next Extended Seoul 행사는 빅데이터, 머신러닝, 데이터베이스, 서버리스 등 다양한 Google Cloud Platform 활용 사례를 공유하고 배우는 자리입니다. ] ...그렇다고 합니다. 이번 주말.

아직 생각이 정리된건 아닌데, 게임은 슈퍼마리오 시리즈중 하나를 선택하는 것은 어떨까 싶음. 이유로는, 1) 게임의 목표가 상대적으로 명확한 편이고, 2) 좌표를 이용한다면 제안서에 썼듯이 Grid World, Markov Decision Process를 이용하여 보다 직관적으로 구현체를 만들 수 있고, 3) 게임상으로 living reward가 설정되어 있음. 추가로, 이미 존재하고 연구되는것 이상으로 어떤 기술 혹은 시각을 접목할지는 좀더 고민할 필요가 있을듯...

TwitchPlayPokemon처럼 트위치 채팅을 통해 피드백을 준다거나...?

공유가 늦어져서 미안. 어제 기사시험 실기를 봤어서... 책은 구매했지만, 아직 많이 보진 못했음.

[WinteringAsch]

스피드 관련으로 해보는건 어떨까 싶다는 생각을 함. 최단시간을 위한 루트는 게임별로 정해져 있고, TAS라면 이걸 찾는게 쉬울꺼라 생각했는데... 생각만큼 그렇게 단순하지 않다고 함. 실제로 슈퍼마리오 1이라는 고전게임으로도 최근 몇년까지도 기록이 갱신이 되고 있었고. 슈퍼마리오 카트의 경우에는 2014년도에 발견된 방법이 있는데, 이걸 인간이 3연속으로 성공하는데는 4년 가까이 걸렸다고도 하네. 어떤 방법을 줬을때, 그것보다 빠른 방법을 찾을 수 있는 구현체...? 라던가? https://www.youtube.com/watch?v=_FQJEzJ_cQw

[JesungKoo]

대체과제는 제쳐두고 일단 중간 끝... 영상 확인해봤는데 슈퍼마리오 요소가 정말 많네. 이거 하나하나가 Feature라고 생각이 드는데, 만약 지도학습으로 갈거면 우리가 이런걸 파악할 수 있을만큼 게임을 분석해야할 것 같고 아니면 딥러닝을 써야 할 것 같네.

[WinteringAsch]

사실 맨 처음 슈퍼마리오 이야기를 했을 때에는, 단순히 시간단축이 목표가 아닌, 다른 목표(예를 들면, 코인/최종점수랑 시간을 적당히 절충한다던지)를 생각했는데, 시간단축만 해도 생각보다 엄청 복잡해질꺼 같더라. 프레임, 픽셀단위 트릭까지 발견하게 하는건 ... 지금 막연히 생각하기는 힘들지 않을까 싶긴 한데, 그정돈 해야 구현의 의미가 있으려나? 결국 각 상황에서의 선택지의 문제일꺼 같은데, 적어도 구현체를 만들어 봐야 느낌을 알꺼 같은데.

신경치료 하다보니 제정신이 아니다. 양치질 잘 하고 다니자... 잘 해도 운나쁘면 답이 없지만. 제정신이 아닌 상태에서 떠오른것중 하나는, 미연시(소위 말하는 미소녀/미소년 연애 시뮬레이션)랑 자연어처리를 접목해서 엔딩을 찾아가는 구현체는 어떨까 싶었어. 하. --> '최단시간'에 '최다엔딩'을 볼 수 있는 K : 미연시를 AI로 하고 싶은 사람이 있을까? C : 숨겨진 기믹을 찾는 방식으로 하는게 어때?

[JesungKoo]

http://gabegrand.com/files/super_mario_rl.pdf

마리오로 우리가 하려 했던 수준은 딱 이정도인것 같고, 이건 보면 알겠지만 기말 프로젝트임.. 주제에 대해서 조금 더 생각해 볼 필요를 느낀당

[WinteringAsch]

얘기했을 때에도 이미 누군가는 했을꺼라 하긴 했는데... 그게 기말 프로젝트인건 좀 충격이네. 엄청 기술적으로 어려운게 아니더라도 뭔가 다른걸 접목시켜서 새로운 시각으로 접근해보고 싶은데, 고민이 더 필요하겠다. 교수님 도움도 좀 받고. 그거랑 별개로, 슈퍼마리오 실행환경은 그래도 설치해둬서 나쁠건 없을듯...

[WinteringAsch]

더 진행하기 전에... 학습 진짜 되나 좀 오랜시간 실행해보는게 좋을것 같아. 아까 아무리 Learning rate를 매우 이상하게 두긴 했지만, 계속 죽는거로 수렴하는게 불안하네.

[WinteringAsch]

sudo apt-get install python3-tk

[WinteringAsch]

https://www.wikihow.com/Make-a-Custom-Super-Mario-Bros.-Level 의외로 그렇게 어렵진 않을지도 모르겠다. 물론 난 아직은 저거 시도는 못해봄...

[WinteringAsch]

별생각없이 우분투에서 시도해보려 했는데, exe가 윈도우 확장자인것을 처음 알았다...

[JesungKoo]

....... 우분투는 데비안 리눅스니까 .deb

[WinteringAsch]

왜 액션이 하나로 수렴하는지 모르겠다아앜

[JesungKoo]

난 AVX2 FMA 빌드 해보려다가 에러폭격과 함께 방금 한번 디렉토리 비운 상태..

[WinteringAsch]

https://github.com/grananqvist/reinforcement-learning-super-mario-A3C/blob/master/report.pdf

[WinteringAsch]

고민할꺼

• DQN을 완성시킬지
• A3C까지 해볼지
• 1+2
• Epsilon decay function 어쩔지. 지금은 너무 빨리 감소됨...
• Reward function

해볼꺼

• 입력되는 화면 범위 수정하기
• LSTM 적용시켜보기
• frame skip

[WinteringAsch]

https://github.com/xupei0610/a3c-super-mario