[45] Anomaly Detection via Reverse Distillation from One-Class Embedding

[sy00n]

Abstract

• knowledge distillation은 unsupervised anomaly detection의 promising results를 달성해 옴.
• Teacher-student 모델의 anomaly의 representation discrepancy가 AD를 위한 essential evidence를 제공함.
• 하지만 Teacher, Student 모델을 설계할 때 유사하거나 동일한 구조로 설계하면 anomalous representation의 다양성을 방해함.
• 이러한 문제를 다루기 위해 teacher encoder와 student decoder로 구성된 T-S model과 "Reverse distillation" 패러다임을 제안함.
  • Raw image를 바로 사용하는 것이 아니라, student network는 teacher model의 one-class embedding을 input으로 하고 teacher의 multi-scale representation을 restore 함.
  • 본질적으로 본 연구에서의 knowledge distillation은 abstract, high-level presentations에서 출발해서 low-level features 방향임.
  • 추가로, Trainable one-class bottleneck embedding module (OCBE)를 둠.
  • 이렇게 만든 compact embedding은 normal pattern에 대한 필수적인 정보를 효과적으로 보존할 수 있고 anomaly perturbation은 막을 수 있음.

Introduction

• E: Pre-trained teacher encoder (extracts multi-scale representation)

• Trainable one-class bottle-neck embedding module

• Student decoder D (restore the features from the bottleneck embedding)

• T-S 간 abnormality score가 낮다는 것은 높은 abnormality score를 의미함.

• Heterogeneous encoder, decoder 구조와 knowledge distillation 순서가 anomaly에 대한 discrepant representation에 크게 기여함을 주장함.

• Trainable OCBE 모듈이 mult-scale pattern을 downstream normal representation reconstruction을 위한 low-dimensional space로 통합함.

Reverse Distillation

• conventional KD에서 student network는teacher모델과 유사하거나 동일한 구조를 적용해서 raw data/image를 input으로 받고 teacher 모델의 feature activation을 target으로 함.
• Unsupervised AD one-class distillation에서 이상 샘플이 query로 들어왔을 때 student 모델은 teacher 모델과 크게 다른 representatikon을 만들어야 함.
• 하지만 anomaly에 대한 activation discrepancy가 때로는 사라지며, 결국 이상 탐지 실패로 이어짐.
• 본 논문에서는 이 이유를 teachet와 student 네트워크가 비슷한 아키텍쳐이기 때문일 것이라고 주장함.
• T-S model의 unknown, OOD 샘플에 대한 representation diversity를 개선하기 위해, novel reverse distillation paradigm을 제안함.
• T-S model은 encoder-decoder 구조를 적용하고 teacher의 deep