cnulab / RealNet

Offical implementation of "RealNet: A Feature Selection Network with Realistic Synthetic Anomaly for Anomaly Detection (CVPR 2024)"
MIT License
143 stars 5 forks source link

生成图像的质量问题 #15

Open TerryMelody opened 2 months ago

TerryMelody commented 2 months ago

作者您好,支持您们的工作!想请教一下,生成的异常样本看起来质量并不是很高,比如电缆类,生成样本似乎只是在姿态、颜色或污迹方面有一些变动,并没有出现类似真实缺陷样本的可能的潜在异常模式。同样是无监督的工作,例如论文"Generating and Reweighting Dense Contrastive Patterns for Unsupervised Anomaly Detection [AAAI 2024]",他们的生成结果似乎存在与真实异常更接近的模式。请问这方面应该如何解释呢?感谢您的回复! image

cnulab commented 2 months ago

您好! 我不知道你提出这个问题的意义是什么? “Generating and Reweighting Dense Contrastive Patterns for Unsupervised Anomaly Detection” 同样是非常优秀的工作,但是我不知道您如何得出“他们的生成结果似乎存在与真实异常更接近的模式”这样的结论? image

TerryMelody commented 2 months ago

您好,感谢您的回复!非常抱歉,我的问题没有阐述清楚。在您提供的生成样本中,例如zipper,似乎主要是齿轮的周围背景产生白色噪点,相比于上图中齿轮顺序的杂乱样式,后者看起来更接近测试集中"teeth“相关的缺陷。类似的,metal_nut类您主要生成圆形类,上图中在螺母周围生成了不同数量的凸起,似乎保留了更多原螺母的信息。上图中的cable类,外形形变的生成异常相比整张图像充斥噪点斑样,感觉更真实和直观。或者说,在您论文中提出的”Strength-controllable Diffusion Anomaly Synthesis“模块,有可能潜在地生成上图的异常模式吗?由于我没有在两篇文章的生成数据上用FID等生成指标进行定量比较,非常抱歉我的感受主观性较强。请您批评指正,再次感谢您的回复! image image image

cnulab commented 2 months ago

您好! Strength-controllable Diffusion Anomaly Synthesis在概率空间中采样,理论上当然是可以覆盖任何真实的异常模式,但是也正是因为在概率空间中随机采样,也可能生成一些低质量的异常样本,这也是本文的一个潜在的改进方向。我认为异常合成(尤其是无监督设置下的异常合成)是一个非常有挑战的研究方向,需要进一步发展与研究。本文和“Generating and Reweighting Dense Contrastive Patterns for Unsupervised Anomaly Detection” 都为该研究方向提供了独特且有见解的解决方案,都是优秀的工作,不能仅依靠几张生成的样本就评价孰优孰劣。 如果你有其他问题,欢迎进一步讨论。

TerryMelody commented 2 months ago

您好! Strength-controllable Diffusion Anomaly Synthesis在概率空间中采样,理论上当然是可以覆盖任何真实的异常模式,但是也正是因为在概率空间中随机采样,也可能生成一些低质量的异常样本,这也是本文的一个潜在的改进方向。我认为异常合成(尤其是无监督设置下的异常合成)是一个非常有挑战的研究方向,需要进一步发展与研究。本文和“Generating and Reweighting Dense Contrastive Patterns for Unsupervised Anomaly Detection” 都为该研究方向提供了独特且有见解的解决方案,都是优秀的工作,不能仅依靠几张生成的样本就评价孰优孰劣。 如果你有其他问题,欢迎进一步讨论。

非常感谢您及时的回复!祝您工作顺利!