对SCALE-UP过滤效果的一点疑问

[GuoJiaming1]

我用SCALE-UP对badnets-cifar10(all2one)进行了过滤，T=0.5，结果如下： ` ==========Test result on BA========== [2024-08-09_16:53:09] Top-1 correct / Total: 9195/10000, Top-1 accuracy: 0.9195, Top-5 correct / Total: 9972/10000, Top-5 accuracy: 0.9972, time: 2.826444625854492

==========Test result on ASR========== [2024-08-09_16:53:13] Top-1 correct / Total: 9742/10000, Top-1 accuracy: 0.9742, Top-5 correct / Total: 9962/10000, Top-5 accuracy: 0.9962, time: 3.306087017059326

---------data-free scenario---------- tp: 1512, tn: 7402, fp: 1793, fn: 8230 TPR: 15.52 FPR: 19.50 AUC: 0.4508 f1 score: 0.23177742009657393 ---------data-limited scenario---------- tp: 1512, tn: 7402, fp: 1793, fn: 8230 TPR: 15.52 FPR: 19.50 AUC: 0.4508 f1 score: 0.23177742009657393 ` 非常坏数据，使我焦头烂额。请问能否提供一下SCALE-UP对badnets-cifar10的超参数或实验结果？

[LandAndLand]

感谢你对我们工作的关注！对于你提到的问题，我猜测应该是触发器的设置引起的。你可以按照https://github.com/THUYimingLi/BackdoorBox/blob/main/tests/test_SCALE_UP.py中的第127行的trigger patter来毒化样本。也就是，使用随机noise组成的3*3 patch作为触发器。超参使用SCALE-UP.py默认的即可，具体超参见https://github.com/THUYimingLi/BackdoorBox/blob/main/core/defenses/SCALE_UP.py。我们已经在最新的测试样本检测的后门防御工作IBD-PSC中分析了SCALE-UP可能对于白色小方块和黑白棋格的触发器的效果有限，希望作者顺便关注一下IBD-PSC: Input-level Backdoor Detection via Parameter-oriented Scaling Consistency（ICML 2024，https://arxiv.org/abs/2405.09786），代码复现非常简单。代码地址：https://github.com/THUYimingLi/BackdoorBox/blob/main/tests/test_IBD-PSC.py。希望能够解决你的问题，有任何问题欢迎再次咨询！

[GuoJiaming1]

按您的建议，我将投毒方法改为了触发器不可见的wanet，并以默认参数进行过滤，但结果依旧不乐观。

`the BA and ASR of the original WaNet model: ............. ==========Test result on BA========== [2024-08-12_09:52:57] Top-1 correct / Total: 9117/10000, Top-1 accuracy: 0.9117, Top-5 correct / Total: 9961/10000, Top-5 accuracy: 0.9961, time: 2.9982569217681885

==========Test result on ASR========== [2024-08-12_09:53:01] Top-1 correct / Total: 9859/10000, Top-1 accuracy: 0.9859, Top-5 correct / Total: 9995/10000, Top-5 accuracy: 0.9995, time: 3.970590353012085

---------data-free scenario---------- tp: 539, tn: 7386, fp: 1731, fn: 9320 TPR: 5.47 FPR: 18.99 AUC: 0.3487 f1 score: 0.08887789595185093 ---------data-limited scenario---------- tp: 539, tn: 7386, fp: 1731, fn: 9320 TPR: 5.47 FPR: 18.99 AUC: 0.3487 f1 score: 0.08887789595185093`

[LandAndLand]

你好，如果你是在问BadNets攻击，我通过且成功了的方案是在训练和测试阶段使用相同的3*3的random noise patch作为trigger。data-free scenario下（random seed 666），TPR 100%，FPR 16.46%。请你仔细阅读我上面的回答，并查看IBD-PSC文章，相信会有启发的。祝顺利

[GuoJiaming1]

感谢您的指导，我已使用彩色随机噪声触发器复现出优秀的结果。只是我现在改为对wanet进行过滤，但结果并不理想，就如上面所示。identity_grid与noise_grid均为训练时以gen_grid(32,4)生成。 事实上在我的实验中，良性样本的SPC均值显著大于投毒样本的SPC均值。

[LandAndLand]

感谢您的指导，我已使用彩色随机噪声触发器复现出优秀的结果。只是我现在改为对wanet进行过滤，但结果并不理想，就如上面所示。identity_grid与noise_grid均为训练时以gen_grid(32,4)生成。 事实上在我的实验中，良性样本的SPC均值显著大于投毒样本的SPC均值。

你好，对于WaNet默认的设置+noise mode下的结果可以参考IBD-PSC的文章。事实上，WaNet有2种攻击模式，normal mode和noise mode。使用noise mode可以使攻击更隐蔽。而SCALE-UP利用的是中毒样本过拟合的特性，使用noise mode会破坏这种过拟合特性，从而导致防御效果不佳。

[GuoJiaming1]

十分感谢。