cnulab / RealNet

Offical implementation of "RealNet: A Feature Selection Network with Realistic Synthetic Anomaly for Anomaly Detection (CVPR 2024)"
MIT License
143 stars 5 forks source link

異常生成相關問題 #10

Closed chilin0525 closed 2 months ago

chilin0525 commented 2 months ago

您好,

對於您論文中提及的異常生成方法有興趣,想跟您請教幾個問題:

  1. 生成時提到使用 normal images 訓練一個 diffusion model,想請教這個部分是單一種相似外觀物體就要訓練一個 diffusion model 嗎?還是說可以以多種不同物體訓練一個 diffusion model 呢?
  2. 對於異常生成模型我自己的 concern 是如何確保生成的異常能覆蓋掉實際可能出現的異常 pattern,進而避免異常漏報 (漏檢) 發生,想好奇您對這個問題的看法
  3. 與第二個問題相關,如果一個場域下會出現固定的 defect pattern,如何盡可能讓模型只生成類似的 defect sample 而不會超乎預期的 defect pattern 呢?

希望作者大大有空時能回覆,感激不盡!🙏

cnulab commented 2 months ago

您好! Q1:实验中观察为每类训练一个diffusion model和多类训练一个diffusion model没有显著区别,为了实验操作和模型发布的简便,该实现为每个数据集的多个类别训练一个diffusion model. Q2:使生成异常的分布接近实际异常的分布(尽可能的覆盖实际可能出现的异常类型)是异常合成任务的终极目标,在本文的实验设置中(不使用任何真实的异常样本),达成以上目标是一个有挑战性的任务。你的concern是完全合理的,需要继续探索! Q3:Teng Hu等人Yuxuan Duan等人的工作使用few shot的异常图像训练异常合成模型,来生成特定类别的异常图像以扩充异常数据。在本文的设置中,约束出现的异常类别(例如通过一些先验信息或自然语言prompt),是一个非常有潜力的研究方向,同样需要继续探索!

chilin0525 commented 2 months ago

謝謝您迅速地回答!我這邊沒有其他問題,先將這個 issue 關閉~