CNN to detect driver actions

[baekspace88]

• url : https://www.kaggle.com/ismailchaida/cnn-to-detect-driver-actions

[baekspace88]

Library

• tqdm : 현재 for 문이 얼마나 실행되었는지를 알려주는 라이브러리
• glob : 유닉스 셸이 사용하는 규칙에 따라 지정된 패턴과 일치하는 모든 경로명 찾는 라이브러리 https://docs.python.org/ko/3/library/glob.html
• cv2(OpenCV (Open Source Computer Vision)) : 오픈 소스 컴퓨터 비전 라이브러리
  • cv2.IMREAD_COLOR : 이미지 파일을 Color로 읽음. 투명한 부분은 무시되며, Default.
  • cv2.IMREAD_GRAYSCALE : 이미지를 Grayscale로 읽음. 실제 이미지 처리시 중간단계로 많이 사용.
  • cv2.IMREAD_UNCHANGED : 이미지파일을 alpha channel까지 포함하여 읽음.
  • BGR http://pythonstudy.xyz/python/article/409-%ED%8C%8C%EC%9D%B4%EC%8D%AC-%EC%98%81%EC%83%81-%EC%B2%98%EB%A6%AC-OpenCV

[baekspace88]

Keras

keras.models

• Sequential vs Model
  • Sequential : 레이어들이 그냥 일렬로 쭉 나열된 형태. Input layer 따로 없음. 단점 : 여러 input sources 갖지 못 함. 여러 output destinations 갖지 못 함. layer 재사용 못 함.
  • Model : Sequential의 단점을 극복한 모델. Input layer 설정 해야 함. https://jovianlin.io/keras-models-sequential-vs-functional/ https://frhyme.github.io/machine-learning/a_model_in_keras/
• compile : 학습 방식에 대한 환경설정
• optimizer : rmsprop(Divide the gradient by a running average of its recent magnitude) 기울기를 단순 누적하지 않고 지수 가중 이동 평균 Exponentially weighted moving average 를 사용하여 최신 기울기들이 더 크게 반영되도록 함. http://www.cs.toronto.edu/~tijmen/csc321/slides/lecture_slides_lec6.pdf

keras.layers

• https://tykimos.github.io/2017/01/27/CNN_Layer_Talk/
• http://taewan.kim/post/cnn/
• Conv2D : Convolution Layer
  • filters : 필터 수
  • kernel_size : 필터 크기
  • padding : 패딩 크기 (경계 처리 방법) (same : 출력 이미지 사이즈가 입력 이미지 사이즈와 동일)
  • input_shape : 샘플 수를 제외한 입력 형태. 모델에서 첫 레이어일 때만 정의
  • activation : 활성화 함수
• MaxPooling2D : Pooling Layer
  • pool_size : Pooling 레이어의 출력 데이터의 크기는 행과 열의 크기를 Pooling 사이즈로 나눈 몫
• Flatten : Flatten Layer
  • CNN의 데이터 타입을 Fully Connected Neural Network의 형태로 변경하는 레이어
• Dense : Dense Layer
  • 일반적인 Fully Connected Layer
  • activation : 활성화 함수
• Dropout : Input에 Drop out 적용
  • rate : Dropout 적용할 rate
• BatchNormalization
  • 신경망에 입력값을 평균 0, 표준편차 1로 정규화(normalize)해 네트워크의 학습이 잘 일어나도록 돕는 방식
  • axis : 3 -> Tensorflow
  • For Theano image, ordering is (Batch_Size, Channels, Width, Height)
  • For Tensorflow image, ordering is (Batch_size, Width, Height, Channels)

keras.callbacks

• ModelCheckpoint : 학습할 때마다 중간중간에 콜백 형태로 알려주고 모델을 저장
  • monitor : loss 값
  • mode : monitor값을 최소화하는 방향으로 학습
  • save_best_only : 최고의 모델 저장
• EarlyStopping : 관찰하는 값이 개선되지 않을 때 stop
  • patience : 몇 epoch가 개선 없이 지나야 학습이 멈추는지 결정하는 epoch 수

keras.preprocessing.image

• https://keras.io/ko/preprocessing/image/ (한글)
• https://keras.io/preprocessing/image/ (영어)
• ImageDataGenerator : 이미지를 왜곡시켜 텐서 이미지 데이터 배치를 생성
  • rescale: 다른 변형을 전부 적용한 후에 데이터를 주어진 값으로 곱하여 크기 재조절
  • shear_range: 밀림 강도 범위내에서 임의로 원본이미지를 변형. 수치는 시계반대방향으로 밀림 강도를 라디안으로 표현
  • zoom_range: 지정된 확대/축소 범위내에서 임의로 원본이미지를 확대/축소. 0.2라면, 0.8배에서 1.2배 크기 변화
  • horizontal_flip: 수평방향으로 뒤집기
  • validation_split: 검증의 용도로 남겨둘 남겨둘 이미지의 비율
• flow
• fit_generator
  • steps_per_epoch: 한 epoch 마다 몇 번 생성기로부터 데이터를 얻을지를 나타내는 값 한 epoch 마다 사용되는 학습데이터의 수는 steps_per_epoch * batch_size
• https://tykimos.github.io/2017/06/10/CNN_Data_Augmentation/

keras.applications.vgg16

• https://bskyvision.com/504
• https://datascienceschool.net/view-notebook/47c57f9446224af08f13e1f3b00a774e/
• weights : imagenet으로 pre-trained된 weights를 불러옴
• include_top : fully connected layer를 제거할 지 말 지
• pre-trained된 layer freezing
• 뒤에 GlobalAveragePooling2D, Dense 2개를 더 붙여서 이 layer에 대해서만 training

[baekspace88]

Transfer Learning

• 기존의 만들어진 모델을 사용하여 새로운 모델을 만들 시 학습을 빠르게 하며, 예측을 더 높이는 방법
• 이미 잘 훈련된 모델이 있고, 특히 해당 모델과 유사한 문제를 해결 시 Transfer Learning을 사용
• 실질적 조언
  • 새로 훈련할 데이터가 적지만 original 데이터와 유사할 경우 데이터의 양이 적어 fine-tune (전체 모델에 대해서 backpropagation을 진행하는 것) 은 over-fitting의 위험이 있기에 하지 않습니다. 새로 학습할 데이터는 original 데이터와 유사하기 때문에 이 경우 최종 linear classfier 레이어만 학습을 합니다.
  • 새로 훈련할 데이터가 매우 많으며 original 데이터와 유사할 경우 새로 학습할 데이터의 양이 많다는 것은 over-fitting의 위험이 낮다는 뜻이므로, 전체 레이어에 대해서 fine-tune을 합니다.
  • 새로 훈련할 데이터가 적으며 original 데이터와 다른 경우 데이터의 양이 적기 때문에 최종 단계의 linear classifier 레이어를 학습하는 것이 좋을 것입니다. 반면서 데이터가 서로 다르기 때문에 거의 마지막부분 (the top of the network)만 학습하는 것은 좋지 않습니다. 서로 상충이 되는데.. 이 경우에는 네트워크 초기 부분 어딘가 activation 이후에 특정 레이어를 학습시키는게 좋습니다.
  • 새로 훈련할 데이터가 많지만 original 데이터와와 다른 경우 데이터가 많기 때문에 아예 새로운 ConvNet을 만들수도 있지만, 실적적으로 transfer learning이 더 효율이 좋습니다. 전체 네트워크에 대해서 fine-tune을 해도 됩니다.
• http://incredible.ai/artificial-intelligence/2017/05/13/Transfer-Learning/
• https://jeinalog.tistory.com/13