Running car를 개발하기 위한 참고 가능한 자료를 모아보자

29-75 / running-car

머신러닝을 기반으로 장애물을 피해 달리는 자동차를 만들어보자

0 stars 3 forks source link

Running car를 개발하기 위한 참고 가능한 자료를 모아보자 #7

Open gon-park opened 4 years ago

gon-park commented 4 years ago

https://www.youtube.com/watch?v=wL7tSgUpy8w

sungwon-ahn commented 4 years ago

1.https://youtu.be/Aut32pR5PQA ( Deep Learning Cars )

gon-park commented 4 years ago

https://www.youtube.com/watch?v=r428O_CMcpI

mbj0528 commented 4 years ago

https://www.youtube.com/watch?v=BhsgLeY_Q-Y

mbj0528 commented 4 years ago

가속 감속 방향 있는 코드 pygame http://rmgi.blog/pygame-2d-car-tutorial.html

mbj0528 commented 4 years ago

오브젝트 x 픽셀로 해보자.

mbj0528 commented 3 years ago

강화학습 알고리즘 중 하나인 Deep Q-learning 사용하는 뱀게임 상세설명 링크

https://www.secmem.org/blog/2020/02/08/snake-dqn/

gon-park commented 3 years ago

Explained : Neural network

https://www.youtube.com/watch?v=rEDzUT3ymw4

자동차 주행에 대해 Neural network 구축 예시

Input & Output

Input
- 각도 별 빔 거리
Output
- 방향
- 속도

Layer

Layer 설계 (hidden layer)

gon-park commented 3 years ago

Neural Network & Genetic Algorithm 통합 사례

https://www.youtube.com/watch?v=aeWmdojEJf0

Neural Network 적용 방법

Input
- Horizontal distance
- Height difference
Output
- Flapping(점프) 유무

Genetic Algorithm 적용 방법

Generation과 Score 관리
Generation 간에 처리는 어떻게 할까?

mbj0528 commented 3 years ago

cartpole DQN 예제

링크

Agent : keras models의 Sequential 을 사용하여 구현

현재 상태에 대한 모델의 큐함수

다음 상태에 대한 타깃 모델의 큐함수

각 에피소드 마다 타깃 모델을 모델의 가중치로 업데이트

목표 점수 달성시 학습 중단

우리 Running Car에 어떻게 적용?

강화학습

Episode 단위가 generation 이고 한번에 하나의 차라고 고려.

현재 상태에 기반해 다음 타임 스텝 수행 -> 강화

Episode가 끝날때 마다 보상

매 타임 스텝마다 학습하고 메모리에 저장. 이것은 다시 학습할 때 무작위로 꺼내서 쓰는 용도.

액션을 정할때 입실론 탐욕 정책 -> 입실론 탐욕정책이 무엇인가?

자세한설명(https://multicore-it.com/112)

jeonhyunji commented 3 years ago

Deep Reinforcement Learning (NeuralNetworks + Q-Learning) 사용한 snake game
- https://towardsdatascience.com/how-to-teach-an-ai-to-play-games-deep-reinforcement-learning-28f9b920440a
- https://github.com/maurock/snake-ga
- TensorFlow Keras 사용
- 비슷하게 DQN (Deep Q-Networks) 사용한 뱀게임
  - https://www.secmem.org/blog/2020/02/08/snake-dqn/
  - https://github.com/choyi0521/snake-reinforcement-learning
DQN 사용해서 만든 자율주행 car
- The training took about 5h with CPU
- TensorFlow TF-Slim 사용
강화학습 대표적인 알고리즘 설명 (Q-learning, DQN, A3C)
- https://blog.lgcns.com/1692
- - 강화학습의 대표적인 알고리즘인 Q-learning (큐러닝) 설명
- 큐러닝은 간단한 강화학습 문제를 해결하기엔 좋으나, 환경이 큰 문제에는 적용하기 힘듦 (큐러닝은 각 행은 상태, 각 열은 행동에 대응하는 테이블이 필요 -> 환경이 크면 너무 큼, 사실상 계산불가능)
- 강화학습에 딥러닝을 성공적으로 적용한 DQN(Deep Q Network), DQN을 개선한 A3C 소개
- DQN (CNN + 경험 replay + 목표 네트워크 분리)
- A3C (Asynchronous Advantage Actor-Critic)
- DQN은 리플레이 메모리를 사용해서 큰 메모리 공간이 필요하고 오래된 데이터를 학습에 이용하는 단점
- A3C는 리플레이 메모리를 사용하지 않고 데이터의 상관관계를 줄이기 위해 비동기방법을 사용함

gon-park commented 3 years ago

https://frhyme.github.io/python-lib/keras-nn/