자율주행과 같이 안전이 중요한 task에서 기존 Classical close-set semantic segmentation network들은 OOD object를 detect하는 데 한계가 있다. 본 논문에서는 두가지 모듈로 구성된 Open world semantic segmentation system을 제안한다.
(1) In-distribution / OOD object를 detect하는 역할의 open set semantic segmentation module
(2) 이 OOD object들을 existing knowledge base로 점진적으로 통합하는 Incremental few-shot learning module
로 구성되어 있다. Deep Metric Learning Network(DMLNet)을 적용해서 contrastive clustering을 통해 open-set semantic segmentation을 수행한다.
Introduction
우리는 Open world semantic segmentation problem을 위해 DMLNet을 사용할 것을 제안한다. 그 이유는 아래와 같다.
(1) DMLNet은 contrastive clustering 기반으로 학습해서 anomalous object를 효율적으로 식별한다.
(2) prototype이 few-shot task에 적합하다.
(3) DMLNet의 Incremental Learning 은 새로운 prototype을 추가함으로써 구현된다.
Contribution 요약
Robust하고 real-world application에 실용적인 open world semantic segmentation system을 최초로 소개한다.
우리가 제안하는 DMLNet 기반의 open-set segmentation module은 여러 challenging dataset에 대해 SOTA를 달성했다.
우리가 제안하는 few-shot incremental learning module은 catastrophic forgetting문제를 크게 완화한다.
Open world Semantic segmentation
open world semantic segmentation module은 크게 두개의 서브 모듈로 구성되는데 close-set semantic segmentation module/ Anomaly segmentation module이다.
(1)에서 C_anomaly는 OOD classes를 의미하고 Y^close는 closed set semantic segmentation의 output map을 의미한다. λ는 OOD threshold 이다. P^은 anomaly segmentation module에서의 output인 anomalous probability map을 의미한다.
fig1에서 opoen world semantic segmentation system을 잘 보여주고 있다.
첫 번째 스탭에서 known인지 unknown인지를 detect하고 step 2에서 unknown에 annotate를 부여하고 step3에서 incremental few-shot learning을 적용해서 classification rance를 넓힌다. 마지막으로 step4에서 DMLNet은 larger domain에서의 결과를 얻을 수 있게 된다.
Approach
전체적인 프레임워크는 fig3과 같다. 파란색 점선 박스가 close-set segmentation submodule이고 빨간색 점선 박스가 anomaly segmentation submodule이다. 최종 Open-set Segmentation Map은 이 두 서브모듈의 결과를 합친 것이다.
4.1 Deep Metric Learning Network
위와 같은 prototype learning에 의해 ID class들은 각각의 class space에 할당되고 OOD sample들은 어떠한 prototype과도 가깝지 않기 때문에 가운데에 모이게 된다. 이 때 clustering이라는 의미가 clustering 알고리즘을 쓴다는게 아니라 metric learning을 수행하게 되면 embedding space상에서 저절로 clustering 된다는 의미 같다.
4.2 Open-set semantic segmentation module
이 모듈은 closed-set segmentation module, open-set semantic segmentation module로 나뉜다. closed set segmentation amp은 class에 속할 확률을 최대로 만들어주는 Y로 분류를 수행한다.
반면, anomaly segmentation은 두 개의 unknown identification criteria를 제안한다. 하나는 metric-based maximum softmax probability(MMSP), 하나는 Euclidean distance sum(EDS)이다.
MMSP는 아래 식으로 구성된다.
EDS는 OOD의 경우 OOD pixel들이 aggregate된 metric space의 중심에 feature가 위치한다면 모든 prototype과의 유클리디안 거리가 작을 것이라는 loss이다. 식은 아래와 같다.
그런데 위 fig4처럼 ID class들의 분포는 서로 조금씩 다르기 때문에 MMSP와 EDS를 합쳐서 mixure function을 만든다.
4.3 Incremental few-shot learning module
위에서 open set segmentation results를 얻었으면 이제 새로운 class에 라벨을 부여할 수 있다. 이 라벨링 프로센스는 굉장히 time-consuming 하므로 우리는 두가지 가정을 한다.
(1) 오직 새로운 클래스만 annotated되고 다른 픽셀들은 무시된다.
(2) 다섯장 이하의 이미지가 annotated 될 것이다.
우리는 DMLNet을 쓰는 두 가지 incremental few-shot learning 방법을 제안한다.
Pesudo Label Method
trained branch head는 old class에 대한 prediction map을 구할 수 있고 labelers가 새로운 클래스에 annotation을 할당한다. 이 방법으로 전체 이미지가 annotated 되고 학습시에 새로운 branch head를 학습하는데 쓰인다.
Novel Prototype Method
prototype으로 바로 novel class를 구할 수 있다.
Abstract
자율주행과 같이 안전이 중요한 task에서 기존 Classical close-set semantic segmentation network들은 OOD object를 detect하는 데 한계가 있다. 본 논문에서는 두가지 모듈로 구성된 Open world semantic segmentation system을 제안한다.
(1) In-distribution / OOD object를 detect하는 역할의 open set semantic segmentation module (2) 이 OOD object들을 existing knowledge base로 점진적으로 통합하는 Incremental few-shot learning module
로 구성되어 있다. Deep Metric Learning Network(DMLNet)을 적용해서 contrastive clustering을 통해 open-set semantic segmentation을 수행한다.
Introduction
우리는 Open world semantic segmentation problem을 위해 DMLNet을 사용할 것을 제안한다. 그 이유는 아래와 같다.
(1) DMLNet은 contrastive clustering 기반으로 학습해서 anomalous object를 효율적으로 식별한다. (2) prototype이 few-shot task에 적합하다. (3) DMLNet의 Incremental Learning 은 새로운 prototype을 추가함으로써 구현된다.
Contribution 요약
Open world Semantic segmentation
open world semantic segmentation module은 크게 두개의 서브 모듈로 구성되는데 close-set semantic segmentation module/ Anomaly segmentation module이다.
(1)에서 C_anomaly는 OOD classes를 의미하고 Y^close는 closed set semantic segmentation의 output map을 의미한다. λ는 OOD threshold 이다. P^은 anomaly segmentation module에서의 output인 anomalous probability map을 의미한다.
fig1에서 opoen world semantic segmentation system을 잘 보여주고 있다.
첫 번째 스탭에서 known인지 unknown인지를 detect하고 step 2에서 unknown에 annotate를 부여하고 step3에서 incremental few-shot learning을 적용해서 classification rance를 넓힌다. 마지막으로 step4에서 DMLNet은 larger domain에서의 결과를 얻을 수 있게 된다.
Approach
4.1 Deep Metric Learning Network
4.2 Open-set semantic segmentation module
이 모듈은 closed-set segmentation module, open-set semantic segmentation module로 나뉜다. closed set segmentation amp은 class에 속할 확률을 최대로 만들어주는 Y로 분류를 수행한다.
반면, anomaly segmentation은 두 개의 unknown identification criteria를 제안한다. 하나는 metric-based maximum softmax probability(MMSP), 하나는 Euclidean distance sum(EDS)이다. MMSP는 아래 식으로 구성된다.
EDS는 OOD의 경우 OOD pixel들이 aggregate된 metric space의 중심에 feature가 위치한다면 모든 prototype과의 유클리디안 거리가 작을 것이라는 loss이다. 식은 아래와 같다.
그런데 위 fig4처럼 ID class들의 분포는 서로 조금씩 다르기 때문에 MMSP와 EDS를 합쳐서 mixure function을 만든다.
4.3 Incremental few-shot learning module
위에서 open set segmentation results를 얻었으면 이제 새로운 class에 라벨을 부여할 수 있다. 이 라벨링 프로센스는 굉장히 time-consuming 하므로 우리는 두가지 가정을 한다.
(1) 오직 새로운 클래스만 annotated되고 다른 픽셀들은 무시된다. (2) 다섯장 이하의 이미지가 annotated 될 것이다.
우리는 DMLNet을 쓰는 두 가지 incremental few-shot learning 방법을 제안한다.
Pesudo Label Method
trained branch head는 old class에 대한 prediction map을 구할 수 있고 labelers가 새로운 클래스에 annotation을 할당한다. 이 방법으로 전체 이미지가 annotated 되고 학습시에 새로운 branch head를 학습하는데 쓰인다.
Novel Prototype Method
prototype으로 바로 novel class를 구할 수 있다.
Experiments