[25] Catching Both Gray and Black Swans: Open-set Supervised Anomaly Detection

[sy00n]

Abstract

• 그동안 대부분의 anomaly detection 연구들은 일반적으로 train 시에 normal data만 접근 가능하고 때로는 a few labeled anomaly examples만 접근 가능하다는 가정이 존재한다.
• 그리고 real world에서 anomaly data를 확보해 학습에 사용한다 하더라도 매우 적은 양의 labeled 된 example만 확보할 수 있다는 어려움이 있다.
• 하지만 학습 시에 사용 가능한 anomalies가 항상 가능한 모든 anomaly class를 포괄하고 있지 않기 때문에 unseen anomaly class에 대한 generalizing이 어려울 수 있다.
• 본 논문에서는 seen anomalies와 unseen anomalies 둘 다 detect할 수 있도록 anomaly examples를 사용하는 open-set supervised anomaly detection task를 다룬다.
• 핵심 아이디어는 anomaly 유형을 세 가지(seen, pseudo, latent residual)로 나누어 각각 다른 head로 학습한다는 것이다.

Introduction

• 대부분의 anomaly detection method들은 large-scale의 anomaly data를 수집하는 것이 어렵기 때문에 train시에 normal data로만 학습을 수행하는 unsupervised method로 접근하는 흐름이 강했다. 하지만 적은 수의 labeled anomaly examples이 존재하는 경우 또한 real world application에 존재한다. 이 경우 anomaly examples가 valuable knowledge를 제공할 수 있지만, knowledge 부족으로 인해 unsup으로 학습한 모델의 학습된 features가 anomaly를 구분하기에 충분히 discriminative하지 못하다. (fig 1 참고)

• 최근 연구들 중에 어떤 연구들은 supervised detection 패러다임으로 접근했다. 이 연구들은 주로 anomaly를 negative sample로 삼아서 one-class metric learning을 수행하거나 one-sided anomaly-focused deviation loss로 접근했다.

• 이런 연구들은 제한된 양의 anomaly data만으로도 유의미한 성능 개선폭을 보였지만 seen anomalies는 모든 가능한 anomaly의 경우를 다 포함하지 못한다.

  • 왜냐면 anomalies 자체는 unknown임
  • seen anomaly와 unseen anomaly는 서로 크게 다르기 때문

• 결과적으로 seen anomalies에 오버피팅 되어서 unseen/unknown anomaly class(거의 발생하지 않고 이전에 알려지지 않은 exceptional case -> a.k.a. black swans)에 일반화하지 못한다.

• fig1에서 DevNet과 KDAD를 비교해보면 supervised model이 given anomaly에만 피팅되어서 unseen anomalies를 detection하는데 덜 효과적임을 확인할 수 있다.

• 이러한 문제를 다루기 위해 본 연구에서는 detection 모델이 open-set 시나리오 하에서 적은 수의 anomaly examples로 학습하는 open-set supervised anomaly detection을 다룬다.

  • 즉, objective가 seen anomalies(graw swans)와 unseen anomalies(black swan)을 모두 detect 할 수 있는 task를 수행한다.
  • 본 논문에서는 generalized detection이 가능한 disentangled representations of abnormalities(DRA)라는 새로운 anomaly detection approach를 제안한다.
  • unbounded anomalities를 disentangle해서 3개의 general categories로 나눈다.
    1. anomalies similar to the limited seen anomalies
    2. anomalies that are similar to pseudo anomalies created from data augmentation or external data sources
    3. unseen anomalies that are detectable in some latent residual-based composite feature spaces

[sy00n]

-> residual learning (normal <-> pseudo + seen anomalies) with deviation loss.