[2020] Single-step Adversarial training with Dropout Scheduling

[gatheluck]

論文リンク

• arXiv

公開日（yyyy/mm/dd）

2020/04/18 CVPR 2020

概要

TeX

% 2020/04/18
@inproceedings{
    bs2020single,
    title={Single-step Adversarial training with Dropout Scheduling},
    author={Vivek B.S. and R. Venkatesh Babu},
    booktitle=CVPR,
    year={2020}
}

[gatheluck]

概要

ATは計算コストが大きいのでsingle stepのAEsでATすることは計算コストの削減に有用である。一方で、このような簡易的なATはgradient maskingに基づく擬似的な頑健性（black-box attackや反復最適化を行うwhite-box attackに脆弱）を生じることが知られているが、先行研究ではこの理由は不明である。

[gatheluck]

新規性

• 学習初期段階での過学習が原因であることを明らかにした。
• 上の問題の解決策として、dropoutを使用する方法を提案した。（先行研究では単純なdropoutの追加は無意味なことが報告されているが、これとは異なる非線形層の後にdropoutを追加する方法を提案している。具体的には、dropout2Dをconv2D+ReLUの後に、dropout-1DをFC+ReLUの後に追加している。）

[gatheluck]

結果

MNISTやCIFAR-10において提案手法はPGD-ATに準ずる頑健性をPGDに対しても有することを確認。一方で計算コストはPGD-ATよりもCIFAR-10で約４倍高速。