[66] Pointly-Supervised Instance Segmentation

[long8v]

paper

TL;DR

• task : instance segmentation
• problem : 세그멘테이션 어노테이션 비용 너무 세다! weakly-supervised는 supervised의 85%정도 밖에 성능이 안나온다
• idea : point level의 어노테이션을 하자! bbox를 먼저 어노테이션을 하고 그 중에 랜덤 10개의 점을 찍어서 어노테이터가 이게 background인지 object인지 binary 레이블링을 함.
• architecture : mask RCNN
• objective : 10개의 점에 대해서 나온 prediction에 대해 bi-linear interpolate를 한 뒤 cross entropy loss
• baseline : fully supervised mask RCNN
• data : ImageNet, COCO
• result : ImageNet은 supervised의 97% 정도 성능, COCO는 99% 성능
• contribution : 원래 세그멘테이션을 하는데 개당 79초 정도 걸리는데 이 방법론으로는 7초면 어노테이션 가능.
• limitation or 이해 안되는 부분 : PointRend model 부분 안 읽음

Details

• augmentation 보통 사용하는 이미지 어그멘테이션 사용 + 학습 epoch 때마다 10 개중 5개 랜덤샘플링해서 그것만 사용해서 학습.

• dice loss와 IoU의 차이 https://stackoverflow.com/questions/60268728/why-dice-coefficient-and-not-iou-for-segmentation-tasks

segmentation에는 dice, object detection에는 iou쓰는 듯. 딱히 그 이유는 없는듯?

[jonghyunlee1993]

제가 특히 흥미롭게 본 포인트는 Human 이 10개의 샘플 포인트를 직접 찍으면 correlation이 강하게 발생하기 때문에 랜덤으로 10개를 생성하고 이에 대해서 annotation하도록 한 부분이었습니다. DL이 데이터의 잠재 특성을 파악하기 위해서는 어쩌면 인간의 사전 지식과 습관이 방해가되는 부분도 있을 수 있다는...? 망상을 잠깐 해보았습니다.

[long8v]

저두용~ 뭔가 제가 annotate 한다고 생각하면 딱 object 중앙이나 좀 특징적인 부위들(머리 가슴 배)에 찍을 것 같기도 하고 그런데 여기서 bilinear interpolate로 결국 정답지를 제공하니까 불리하게 됐을 것 같아용