llien30 / paper_summary

Write the summaries of papers I've read.

7 stars 0 forks source link

Memorizing Normality to Detect Anomaly: Memory-augmented Deep Autoencoder for Unsupervised Anomaly Detection #99

Open llien30 opened 3 years ago

llien30 commented 3 years ago

INFO

Author

Dong Gong, Lingqiao Liu, Vuong Le, Budhaditya Saha, Moussa Reda Mansour, Svetha Venkatesh, Anton van den Hengel

Affiliation

Conference or Year

ICCV2019

Link

Abstract

AEを使った異常検知では再構成誤差ベースで異常検知している → モデルの汎化により、異常データについてもreconstrcutionできてしまう → 異常検知性能の低下

提案手法(MemAE)

特徴量空間にmemory-moduleを導入
abnormalなサンプルが入力された時には、最も近い正常パターンを検索し、再構成を行う → 異常サンプルについては入力とは全く異なる出力を得る

Screen Shot 2021-01-19 at 16 04 37

Proposed Method

Screen Shot 2021-01-19 at 16 12 01

Encoderによりxから特徴量zを得る
memory-moduleによって、特徴量\hat{z}を得る
\hat{z}から再構成画像\hat{x}を作成

Memory-module

i番目のmemory m_iとzとの距離d(z, m_i)を求め、それをsoftmaxして重みw_iを求める
それぞれのmemory m_iにw_iを掛け合わせて、合計し\hat{z}を求める

Hard Shrinkaga for Sparse Addressing

それでもまだ、reconstructionできてしまう異常があるので(wがdenseだと、細かな情報を持ちうるから)、wをsparseにすることで対応する (λ : shrinkage threshold)

Screen Shot 2021-01-19 at 16 21 46

Screen Shot 2021-01-19 at 16 24 24

εは0 divisionを防ぐための定数
λは、メモリー数Nに対し、1/N 〜 3/N の間の値にすると良い結果が得られた

Objective Function

Screen Shot 2021-01-19 at 16 25 58

再構成誤差

Screen Shot 2021-01-19 at 16 26 05

wのsparse性をなくすロス

Screen Shot 2021-01-19 at 16 26 17

論文内ではα = 0.0002

Loss = (xと\hat{x}のL2 norm) + 0.0002 * (wのentropy loss)

Evaluation

memory-moduleを使った方が、reconstructionがうまく行っていない

Image data

Screen Shot 2021-01-19 at 16 33 13

Video data

Screen Shot 2021-01-19 at 16 32 55

KDDCUP

Screen Shot 2021-01-19 at 16 32 04

Contribution

Discussion, Future Work

Comment

Date

2021/01/19