search

thuml / Anomaly-Transformer

About Code release for "Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy" (ICLR 2022 Spotlight), https://openreview.net/forum?id=LzQQ89U1qm_
MIT License
668 stars 174 forks source link

注释point-adjust代码段后模型性能出现大幅度下降 #51

Open ChenLxx opened 10 months ago

ChenLxx commented 10 months ago

吴博士您好，我在复现您代码的过程中，采用了您提供的脚本代码参数，在注释掉point adjustment对结果处理后，模型F1-score从0.8960降到0.0368。请问您在论文中叙述的各种机制是否只在特殊情况下work？您是否在实验过程中也发现了point-adustment 对结果的影响呢？直观上说，point adjustment并不能直接体现论文效果，虽然这个策略被广泛使用，请问您如何看待这个问题。

注释掉point adjustement

1693736115995

未注释掉point adjustement

0f8f4962b1932a18f3ce172ad6feb79

ChenLxx commented 10 months ago

补充一下，我使用的是SMD数据集

lz-xinlin commented 10 months ago

看这里 https://github.com/thuml/Anomaly-Transformer/issues/14

charming47 commented 9 months ago

同问，之前下载过您们提供的数据集，经过point adjustment后有些经典异常识别方法其实也能取得比较好的F1分数（如sklearn库的Isolation Forest）。另外也发现您们提供的数据集（如MSL、SMAP）与原始论文 Hundman 的数据集有比较大的差异，烦请问下这些数据集的预处理是怎么做的？更关键的是为什么要这样预处理？谢谢

Steven0706 commented 3 weeks ago

这个代码的性能全靠看了GT后的调整，在现实中没有GT，也就是你注释掉的效果，如果我是reviewer，我会强烈要求去掉这个adjustment，完全是为了好看的不现实步骤。