pytorch study 9주차

[hyunsu-yang]

강의

• https://www.edwith.org/boostcourse-dl-pytorch/joinLectures/24017

목차

• Lab-10-6-1 Advanced CNN(RESNET-1)
• Lab-10-6-2 Advanced CNN(RESNET-2)
• Lab-10-7 Next step of CNN

[hyunsu-yang]

Lab-10-6-1 Advanced CNN(RESNET-1)

핵심

Bottleneck

  if self.downsample is not None:
            identity = self.downsample(x)
  out += identity

• Bottleneck 코드중 downsample 이 필요한 이유 ?
  • stride2 일 때 indentity 값과 out의 사이즈가 다를 때 맞춰주기 위한 것으로 동일한 shape으로 맞춰서 연산이 가능하게 함.

ResNet

downsample = nn.Sequential(
                conv1x1(self.inplanes, planes * block.expansion, stride), #conv1x1(256, 512, 2)
                nn.BatchNorm2d(planes * block.expansion), #batchnrom2d(512)
            )

• stride가 2 일 때 피쳐사이즈가 반으로 줄어드니까
  경우에 따라서 채널의 갯수가 달라 더해지지 않는 경우가 있을 때 차원을 맞춰 주는 1x1 conv를 추가하여 입력의 채널을 출력의 채널과 같게 만들어 줌

[hyunsu-yang]

Lab-10-6-2 Advanced CNN(RESNET-2)

핵심

• ResNet 만들고 cifar10에서 학습
• ResNet은 기본적으로 VGG-19의 구조를 뼈대로 한다. 거기에 컨볼루션 층들을 추가해서 깊게 만든 후에, shortcut들을 추가하는 것이 사실상 전부
• ResNet 152개의 층을 갖는다. 이렇게 깊은 네트워크에서도 학습이 가능한 이유는 ? (반대로 VggNet 경우는 16보다 19 layer가 gradient vanishing 문제로 인해 더 좋은 성능을 가져오는지 못함.)
  • skip connection으로 인해 다음 layer를 연결하면 back propagation에서 발생하는 gradient vaishing 줄일 수 있음. (완전히 해결한 것은 아니라고 함)

[hyunsu-yang]

Lab-10-7 Next step of CNN

핵심

• 사물 탐지(Object Dection)
  • 사진안에 객체가 어디? 그리고 무엇?
• 사물 추적(Object tracking)
  • frame 별 객체 추적
• 이미지 분할(Segmentation)
• 앞으로 뭘 해야 ?
  • 커스텀 데이터셋을 만드는 방법을 잘 익히고 연습 필요
  • Tiny ImageNet Challenge 추천