Depthwise Separable Convolution - MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

[peternara]

• 계산량과 weight값들을 줄임으로써, 모바일 환경에서 run할수 있도록하는게 목적
  • standard convolution 계산은 redundancy가 크다. > Depthwise Separable Convolution
• Depthwise(깊이별) Separable Convolution
  • filters & combines 개념의 분리, factorized -> 2 layers -> 실제 진행 순서는 filter -> combining
    • filtering : depthwise convolution> applies a single filter to each input channel. (하나의 채널단위로 하는듯~)
    • combination : pointwise convolution > 1x1 convolution
  • 비교 설명 : standard convolution vs Depthwise Separable Convolution
  • standard convolution
    • 의 Feature Map F > 크기의 Kernel > 의 output, (오타인가 output의 DF는 DG 인듯)
      • M은 input feature map의 channel
      • N은 output feature map의 channel 이라 표현할수 있고, (stride, padding = 1) 이때의 computational cost는,
        • : K size의 Kernel
  • Depthwise Separable Convolution
    • it uses depthwise separable convolutions to break the interaction between the number of output channels and the size of the kernel. : 커널의 크기와 아웃풋채널의 개수의 곱으로 계산량이 증가하는 것을 방지
      
      • depthwise convolution에서는 위의 그림에서 보듯이, 한개의 channel를 가진 filtering을 적용한다. (to apply a single filter per each input channel (input depth).)
        • 는 크기의 kerenl
        • 의 m 번째 필터가 적용된 입력값(feature map) 의 m번째 값은, 역쉬나 output feature map 의 m번째값으로 출력된다.
        • computational cost 은,
        • 3x3
      • Pointwise convolution
        • depthwise convolution은 단지 입력을 filtering한 것 뿐이다.
          • 즉, 새로운 feature의 형태가 아니라고 주장하는데(?) 그냥 convolution 연산의 임의 output N의 형태로 만들어지지 않았다란 뜻으로 받아들여진다.
        • 1x1xN 즉, 1x1짜리 2d kernel기반의 N개 차원을 가진 필터를 결합한다.
        • depthwise convolution과 합한 computational cost 은,
      • 기존 standard covolution 보다 cost는 다음과 같이 줄어든다.