[CVPR 2015] Fully Convolutional Networks for Semantic Segmentation

[uhhyunjoo]

link
paper	Fully Convolutional Networks for Semantic Segmentation
code	papers with code

[uhhyunjoo]

Abstract

• 임의의 사이즈인 input 을 이용하여 효과적인 학습 및 추론을 하여, 상응하는 사이즈의 output 을 생성하는 "Fully-convolutional" 한 네트워크를 제안한다.
• 당시의 CNN 기반 classification 모델을 fully convolutional 하게 만들어서, 이때 학습된 representations 를 이용하여 segmentation task 으로 fine-tuning 했다.
• coarse (전반적인) ~ fien (자세한) semantic information 을 combine 시켜서 보다 정확하고 상세한 segmentation 을 생성하는 a skp architecture 를 정의하였다.
• End-to-end, pixel-to-pixel 방식으로 학습시킨 해당 네트워크가 Semantic segmentation 에서 sota 를 달성했다.

[uhhyunjoo]

Fully convolutional networks

• Convnet 의 each layer of data : h x w x d
  • h x w : spatial dimensions
  • d : feature or channel dimension
• higher layers 에서의 locationis 는, path-connected 된 image 에서의 locations 에 대응 시킬 수 있다. 그리고 이는 해당 locations 의 receptive fields 라고 불린다.

• Convnet 은 translation invariance 를 갖는다.

  • basic componenets (convolution, pooling, activation functions) 가 local input regions 에 대해 수행되고, 따라서 relative spatial coordinates 에만 의존한다.

  • 어떤 레이어의 (i,j) 위치에 해당되는 data vector x_ij 와, 그 다음 레이어에서의 y_ij 가 있다면, y_ij 는 다음 공식을 이용하여 구해진다.

  • k (kernel size), s (stride or subsampling factor)

  • f_ks (layer type) : convolution/average pooling 은 a matrix multiplication, max pooling 이면 a spatial max, activation function 으로 an elementwise nonlinearity