[38] Energy-Based Models for Anomaly Detection: A Manifold Diffusion Recovery Approach

Abstract

데이터의 low-dimensional structures를 활용하는 energy-based models(EBMs) 소개
Manifold Projection-Diffusion Recovery (MPDR)은 low-dimensional manifold를 따라서 데이터 포인트를 perturb 함.
그리고 EBM은 원본 데이터를 recovering하는 확률을 최대화하도록 학습함.
학습 시에는 conventional EBM training과 마찬가지로 MCMC sampling을 통해 negative sample를 만드는데, near manifold에 집중된 different distribution에서 생성됨.
이렇게 만들어진 near-manifold negative samples는 데이터의 다양한 relevant modes를 반영하기 때문에 highly informative하다.
MPDR의 energy function은 학습 데이터의 정확한 바운더리를 효과적으로 학습할 수 있고 OOD sammple detection에 뛰어나다.

본 논문에서는 MCMC를 전체 space에 할 필요 없는 EBM 알고리즘을 소개함.
Manifold Projection-Diffusion Recovery(MPDR)을 통해 가우시안 노이즈를 Manifold projection-diffusion(MPD)로 대체함으로써 recovery likelihood framerwork로 확장함. MPD는 데이터의 low-dimensional structure를 반영하는 novel perturbation operation임.
fig1처럼 MPD는 이미지에서 컬러나 모양의 변화와 같은 데이터의 relevant modes of variation을 반영함.
- MPD-perturbed sample은 negative sample을 생승하는 MCMC의 informative starting point가 되어서 EBM이 학습데이터와 부분적으로 유사한 좀 어려운 outliers를 discriminate 하는 데에 도움을 줌.
- MPDR의 이점
  1. 학습 시 여러 개의 autoencoder를 쓸 수 있음. 메니폴드 앙상블 방식이 학습 안전성을 높이고 다양한 negative samples로 인해 성능도 개선함
  2. lightweight 인코더로 좋은 이상탐지 성능을 보임

negative sample 만드는 과정
기존에는 Gaussian noise를 datum x에 바로 주입해서 recovery likelihood를 구했다면, MPD는 일단 오토인코더로 datum x를 한 번 인코딩하고나서 latent space 상에 noise를 적용함.