[DAY 34] Instance/Panoptic segmentation and landmark localization & Conditional Generative Model

[bsm8734]

오늘 배운 것

• Instance/Panoptic segmentation and landmark localization
  • 각 pixel이 어떤 instance에 속하는지 pixel-wise classification을 수행하는 instance segmentation
  • instance+semantic segmentation을 수행하는 panoptic segmentation
  • Keypoint의 좌표를 예측하는 landmark localization
  • UPS-Net, VPS-Net, Hourglass
• Conditional Generative Model
  • Input image를 고려해서 변환된 이미지를 생성할 수 있는 Conditional Generative Model 및 Conditional GAN
  • GAN loss, Pix2Pix, CycleGAN, Perceptual loss 및 적용 예시

질문

• 후미: Yolact의 구조, 동작방식?
  • https://ganghee-lee.tistory.com/42
• 펭귄: stuff와 unknown class
  • thing: instance segmentation 이 구분하는 셀 수 있는 물체
  • stuff: 배경, semantic segmentation을 통해 다룰 수 있는 무정형이며 셀 수 없는 영역(amorphous and uncountable regions) (ex. 나무, 신호등, 하늘, 도로, … 진짜 배경 그 자체)
  • unknown class: semantic segmentation과 instance segmentation결과의 차이, (ex. 나무, 신호등)
  • https://cdm98.tistory.com/40
  • https://towardsdatascience.com/panoptic-segmentation-with-upsnet-12ecd871b2a3

Semantic head는 deformable convolution으로 구성되어 있으며 feature pyramid networks (FPN)으로부터 얻어낸 multi-scale의 정보를 이용합니다. Instance head는 Mask R-CNN의 구조를 따르며 mask segmentation, bounding box 그리고 클래스 정보를 출력합니다. 그리고 가장 중요한 panoptic head는 최종 panoptic segmentation을 예측하는 역할을 합니다. 앞선 두 개의 heads의 logits에 extra unknown class에 해당하는 새로운 채널을 추가합니다. 이렇게 함으로써, semantic과 instance segmentation 사이에 발생하는 충돌(conflicts)을 해결할 수 있습니다.

Additionally, the authors also construct logits for an ‘unknown’ class in order to avoid making wrong predictions. The rationale behind this is that for any pixel if the maximum of logit for a ‘thing’ class from the semantic head is larger than the maximum of the logit from the instance head (max(X thing)- max(X stuff) in the below image), then it is highly likely that we are missing some instances. Therefore, those pixels must be labeled as unknown.

과제에 대한 이야기

• GradCAM
  • https://jsideas.net/grad_cam/