[Deep Learning][CNN][AlexNet]

[peternara]

AlexNet

• 특징
  • 아주 기본이 되는 CNN 구조
    • 5개의 convolution layer
    • 3차원의 구조 = kernel(WxH)xChannels >> feature map 생성
      • 첫번째 conv layer에서는 227x227x3(input) -> 11x11x3(kernel) -> 55x55x96(feature map, 290400개의 뉴런)
        • 이때, 11x11x3 = 363 wieght+1 bias = 364개 paramenter 이다. 즉, kernel이 96개 이므로, 96*365= 34944개 parameter를 가지는 경우다.
        • 또한 connection 숫자도 290400x364 = 105,750,600이므로, 첫번째 layer에서 1억개 이상의 connection이 이루어짐.
        • stride = 4 (연산줄임)
      • 2th layer : 5x5x48 kernel, 3th layer : 27x27x256 feature map,,,
    • max pooling
    • 3개의 fully connected layer (마지막 softmax layer 포함)
  • depth가 깊을수록 semantic 한 성격을 지님
  • fc layer에서(softmax 제외) feature extraction (=deep feature)
    • semantic feature
    • sparse 성질을 가짐
  • 65만개의 뉴런, 6000만개의 paramenter, 6억 3000만개의 connection으로 이루어짐
  • paper에선 2개의 gpu 사용