[DAY 35] Multimodal captioning and speaking & 3D understanding

[bsm8734]

오늘 배운 것

• Multimodal captioning and speaking
  • 시각적인 이미지 뿐 아니라 다양한 감각 (텍스트, 오디오 등)을 모두 사용해 학습하는 방법
• 3D understanding
  • 3D space를 다룰 수 있는 Computer Vision model에 대한 이해
  • 3D task, 3D dataset 및 Mesh R-CNN 등 3D network 소개

Further Question

(5강) Object detection

• (5-1) Focal loss는 object detection에만 사용될 수 있을까요?
  • cross entropy를 사용하는 곳에는 다 쓸 수 있지 않을까요
  • 추천시스템 - 틀린것에 대해서 loss 많이주고, 맞춘것에 대해서는 loss를 적게 주는 방식처럼 사용
  • https://github.com/boostcamp-ai-tech-4/peer-session/issues/89
  • 배경이 많아져서 계산량이 많아지는 문제를 해결하기 위해서 사용하므로, imbalance dataset in classification에서 불필요한 것들을 빠르게 없애기 위해서 사용할 수 있을 듯!
• (5-2) CornerNet/CenterNet은 어떤 형식으로 네트워크가 구성되어 있을까요?
  • 7강 참고

(6강) CNN visualization

• (6-1) 왜 filter visualization에서 주로 첫번째 convolutional layer를 목표로할까요?
  • 시각화하기 좋아서
  • 깊어질수록 visualization하기 힘들어서
  • 처음 이후로는 차원이 깊어져서 시각화하기 어려움. 또한, 우리가 볼 수 있는 2D, 1D로 차원축소를 해서 보게 되면, 왜곡된 결과를 볼 수 밖에 없을 것이다.
• (6-2) Occlusion map에서 heatmap이 의미하는 바가 무엇인가요? 6강 39p
  • 점수가 낮을 수록 클래스를 판단하는데 더 중요한 부분임을 알 수 있음

• (6-3) Grad-CAM에서 linear combination의 결과를 ReLU layer를 거치는 이유가 무엇인가요?

  • 가중치 합을 나타내는 것이 목표인데, 음수 값은 필요가 없을 것이라 생각함
  • positive effect에 집중
  • https://medium.com/@ninads79shukla/gradcam-73a752d368be

  ReLU is the preferred choice in this case as it highlights features having positive influence on the class of interest. Regions of interest implicitly refer to those pixels whose intensity varies directly with the gradient yc. Without the use of ReLU, it is observed that localisation maps sometimes might include more information than the desired class like negative pixels that probably belong to other categories in the image hence affecting localization performance.

  • negative 부분이라고 표시하면, 다른 부분에 부정 영향을 주기 때문!
  • 원하는 부분을 좀 더 잘 구분해낸다.

(7강) Instance/Panoptic segmentation

• (7-1) Mask R-CNN과 Faster R-CNN은 어떤 차이점이 있을까요? (ex 풀고자 하는 task, 네트워크 구성 등)

  • head의 구조가 변경됨(Mask FCN predictor 추가)
  • faster-RCNN: object detection(ROI pooling, box안에 들어오게), mask-RCNN: instance segmentation(ROI align을 사용해서 선으로 구분하고, 클래스를 구분)
  • http://machinelearningkorea.com/2019/07/18/mask-rcnn-%ED%95%B5%EC%8B%AC%EC%9D%B4%ED%95%B4/
  • 여기에 Mask R-CNN이 Faster R-CNN으로부터 달라진 것은 다음과 같다
  • 1) Fast R-CNN의 classification, localization(bounding box regression) branch에 새롭게 mask branch가 추가됐다.
  • 2) RPN 전에 FPN(feature pyramid network)가 추가됐다.
  • 3) Image segmentation의 masking을 위해 RoI align이 RoI pooling을 대신하게 됐다.
  • https://ganghee-lee.tistory.com/40
    
    

• (7-2) Panoptic segmentation과 instance segmentation은 어떤 차이점이 있을까요?

  • 배경에 대한 이해
  • panoptic segmentation: semantic seg인데, 모든 instance까지 구분
  • instance segmentation: 배경을 고려
  • instance head: instance segmentation
    
  • semantic segmentation: 모든 픽셀의 클래스를 구분한다.
  • panoptic segmentation: 모든 픽셀의 클래스를 구분하는데 같은 종류지만 다른 객체라면 구분을 한다.
  • instance segmentation: 객체만 찾고 같은 클래스여도 다른 객체라면 구분을 한다.
  • 차이점
  • https://medium.com/hyunjulie/1%ED%8E%B8-semantic-segmentation-%EC%B2%AB%EA%B1%B8%EC%9D%8C-4180367ec9cb
  • https://cdm98.tistory.com/40

• (7-3) Landmark localization은 human pose estimation 이외의 어떤 도메인에 적용될 수 있을까요?

  • 게임(얼굴, 표정 등) https://www.youtube.com/watch?v=PNFF6uTmr_w
  • (장점: 실시간 움직임을 tracking 가능)
  • 목소리를 낼 때의 지점을 tracking
  • 실시간 기분
    

(9강) Multi-modal: Captioning and speaking

• (9-1) Multi-modal learning에서 feature 사이의 semantic(의미론의)을 유지하기 위해 어떤 학습 방법을 사용했나요?
• (9-2) Captioning task를 풀 때, attention이 어떻게 사용될 수 있었나요?
  • 어떤 부분이 중요한지 spatial attention을 weight로서 사용
• (9-3) Sound source localization task를 풀 때, audio 정보는 어떻게 활용되었나요?
  • CNN을 통과한 이미지 피처와 오디오 피처를 내적해서 유사도 측정(EX 이미지에 사람이 있는 부분은 사람 오디오와 내적하면 유사도가 높게 나옴)

질문

• 후미: “show, attend, and tell”?
• 히스: start token때문에 a 가 나온 것! 사진을 많이 참고하는 것이 아니라 문장 학습하는 것이 주가 아닐까?

후기

• 히스 : CV 에 대해 잘 몰랐는데 최근에 어떻게 진행되고 있고 CV 안에도 정말 다양한 태스크들이 있다는 것을 알 수 있었다. NLP 와도 연계된 부분이 있어서 재밌기도 했다. 근데 수업 내용만으로는 제대로 알기 어려운 부분이 있어서 필요할 때 제대로 공부해야겠다.
• 원딜 : CV 처음으로 이렇게 제대로 배워보는거같은데 재밌는 내용이 많아서 조금 흥미가 생겼지만 난이도가 너무 어려워서 다시 고민에 빠지게 되었다.
• 펭귄 : 너무나도 매운 맛이었다(핵불닭볶음) 그래도 여러 CV 분야를 접할 수 있어서 좋았다. CV 디자인 패턴도 신기했고 하나를 잘 이해를 하면 모듈 붙이는 것처럼 좀 더 쉽게 원하는 모델을 구현할 수 있을 것 같다.
• 샐리 : CV 나름 알고있다고 생각했는데, 조금 더 공부를 열심히 해야겠다고 생각했다. 논문도 얼른 읽고, 논문구현도 해봐야겠다.
• 후미 : 나름 CV좀 해봤다 했는데 내가 아는건 아무것도 아니었습니다… 그리고 머신러닝 하는 사람들은 진짜 이 내용들을 다 알고 하는 것일까라는 의문점이 생겼다. 그래도 과제가 빡센만큼 배운점이 많은거같다.

[bsm8734]

Further Question Answer

슬랙에 올라온 further question 정답입니다.

5강

• (1) Focal loss는 object detection에만 사용될 수 있을까요?
  • Focal loss는 object detection 뿐만 아니라 classification task에도 자주 활용되고 있습니다. 결국 cross entropy를 확장하여 class imbalance가 심한 경우를 대비한 추가 parameter가 존재하는 loss이기 때문에 기존에 cross entropy를 활용하는 많은 task에 쓰일 수 있습니다.
• (2) CornerNet/CenterNet은 어떤 형식으로 네트워크가 구성되어 있을까요?
  • 결국 object detection을 통해 얻고자 하는 bounding box는 left top and right bottom의 2가지 점으로 얻어낼 수 있고 CornetNet은 이러한 방식으로 detection task를 풀고자 하였습니다. 또한 bounding box는 center point와 물체의 크기의 조합으로도 표현될 수 있으며 CenterNet은 이와 같은 방식으로 해결하고자 한 시도입니다.

6강

• (1) 왜 filter visualization에서 주로 첫번째 convolutional layer를 목표로할까요?
  • CNN Filter의 경우 첫번째 convolutional layer의 input이 RGB 채널로 이루어진 이유로 직관적인 해석이 가능하고, 그 뒤부터는 사람이 해석하기 어렵다는 특징이 있습니다. 과제 코드로 더 확인해보시면 직접 확인 가능합니다.
• (2) Occlusion map에서 heatmap이 의미하는 바가 무엇인가요?
  • 각 픽셀이 결과값에 얼마만큼의 중요도를 갖는지를 나타낸다고 해석할 수 있습니다. 확률값으로 계산하기 때문에 heatmap으로 visualize를 할 수 있습니다.
• (3) Grad-CAM에서 linear combination의 결과를 ReLU layer를 거치는 이유가 무엇인가요?
  • 표면적으로는 양수값만을 취해주기 위해 그렇지만, QnA세션 때 @김종하(오태현님_교육조교) 말씀대로, 실험적으로 결정한 사항이기도 합니다.

7강

• (1) Mask R-CNN과 Faster R-CNN은 어떤 차이점이 있을까요? (ex. 풀고자 하는 task, 네트워크 구성 등)
  • Faster R-CNN의 RoI pooling을 개선하여 RoI align을 적용함과 동시에 mask branch를 추가하여 instance segmentation task를 풀고자 하는 모델이 Mask R-CNN입니다. 결국 두 모델의 큰 차이점은 RoI align과 mask branch에 있습니다.
• (2) Panoptic segmentation과 instance segmentation은 어떤 차이점이 있을까요?
  • Instance segmentation은 object detection과 같이 개별 물체를 인식함과 동시에 해당 물체에 대한  segmentation까지 풀고자 하는 task입니다. Panoptic segmentation은 이러한 instance segmentation을 semantic segmentation과 결합하여 thing과 stuff를 모두 구분하고자 한 task입니다.
• (3) Landmark localization은 human pose estimation 이외의 어떤 도메인에 적용될 수 있을까요?
  • Landmark localization은 RoI extraction, face alignment 등 굉장히 다양한 분야에 적용될 수 있는 task입니다.

9강

• (1) Multi-modal learning에서 feature 사이의 semantic을 유지하기 위해 어떤 학습 방법을 사용했나요?
  • Joint embedding에서 semantic을 유지할 수 있도록 loss 를 설정하여 metric learning을 진행합니다. @김성빈(오태현님_교육조교) 메트릭 러닝 로스들 몇 가지 더 설명 추가해주실 수 있으실까요??
• (2) Captioning task를 풀 때, attention이 어떻게 사용될 수 있었나요?
  • 대표적으로 Show, attend, and tell 모델에서는 captioining의 visual referencing을 얻어내기 위해 attention을 활용했습니다. Reasoning의 일부라고 생각하셔도 좋을 것 같습니다.
• (3) Sound source localization task를 풀 때, audio 정보는 어떻게 활용되었나요?
  • Sound source localization에서는 sound embedding을 얻어낸 뒤 context를 학습할 수 있도록 global average pooling을 진행했습니다. 그리고 visual embedding과 내적하여 localize를 할 수 있도록 정보를 조합했습니다. Audio가 visual task에 활용될 수 있는 방안은 강의에서 소개된 것 이외에도 더 많은 방법이 있을 수 있으니, 다양한 프로젝트를 구상해서 실험 진행해보시는 것도 추천드리는 학습 방향입니다.