chullhwan-song
commented
5 years ago Abstract
- Deep residual networks는 현재 수천개의 layer들을 쌓을수 있다. for performance..
- 향상된 acc에 비해 layer는 거의 두배이상 쌓아야한다.
- 학습에 feature의 재사용에 대한 문제가 있어서, 학습이 매우 오래걸림.
- 이 연구에서는 이러한 문제를 해결하기 위해, depth 보다는 width한 residual network를 제한.
- wide residual networks (WRNs)
- 그래서, "16-layer-deep wide residual network" > 기존의 성능보다 우수하다는 걸 보임.
- 다음 dataset에서, CIFAR, SVHN, COCO, and significant improvements on ImageNet.
contributions
- residual network architecture에 대한 상세한 연구
- widened architecture for ResNet blocks를 제시하여 성능 향상됨을 보임.
- deep residual network안에서 새로운 dropout 를 사용방법을 제시 > regularize, overfitting
- SOTA 성능
Wide residual networks
- Residual block with identity mapping
- F는 residual network
net의 parameter
- l는 l번째 layer에서의 unit(feature)
- F는 residual network
- 기존 연구의 residual networks - 2개의 type
- basic - conv3×3-conv3×3, Fig1 a)
- conv3×3은 batch normalization & ReLU 포함.
- bottleneck - conv1×1-conv3×3-conv1×1, Fig1 b)
- basic - conv3×3-conv3×3, Fig1 a)
- 기존 연구 > 밑의 후자의 연구가 더 좋아서 첫 번째 연구는 고려하지 않음
- Deep residual learning for image recognition > conv-BN-ReLU
- Identity mappings in deep residual network > BN-ReLU-conv
- residual block의 다음 기준으로 representation
- to add more convolutional layers per block
- to widen the convolutional layers by adding more feature planes
- to increase filter sizes in convolutional layers
- ?? 이렇게 하면 메모리가...depth하지 않는것 제외하면..
- 이 연구에서는 3x3 보다 큰 filter는 사용하지 않음.
- 두개의 factor 소개
- deepening factor l
- l is the number of convolutions in a block > block안의 conv 수
- widening factor k
- k multiplies the number of features in convolutional layers > k는 conv layer안에 feature수(channel ?)과 곱
- 그래서, base line인 "basic"경우에는 l = 2, k = 1 임
- Fig.1 a) basic, c)는 basic-wide
- deepening factor l
Type of convolutions in residual block
- B(M) : residual block structure
- M은 block안의 conv의 kernel size
- B(3,1)은 3x3 residual block, 1x1 conv를 의미
Number of convolutional layers per residual block
- block deepening factor l
- 이 l에 따른 실험 > 갯수가 얼마일때 효과적?
- 같은 param수를 가진 network와의 비교
- 이 의미는 l(block deepening factor)과 d(the total number of blocks)를 다르게 하여 비교
- network의 복잡도를 일정하게 유지시키면서..즉, l를 증가되면 d는 감소하거나 반대의 경우..를 의미
Width of residual blocks
- widening factor k of a block에 대한 실험
- l과 d가 증가하는 동안 복잡도 및 param 수는 quadratic in k (k에서의 2차방정식, 곱인듯..?)
- widen the layers에의 계산이 효과적이라는 이유는 GPU보다는 parallel 계산에서. > k, l의 optimal한...
Dropout in residual blocks
- Fig 1의 d
실험
Type of convolutions in a block
Number of convolutions per block
Width of residual blocks
Dropout in residual blocks
ImageNet and COCO experiments
Computational efficiency
https://arxiv.org/abs/1605.07146