[2022] Towards Robust Vision Transformer

[gatheluck]

論文リンク

• arXiv
• CVF
• GitHub

公開日（yyyy/mm/dd）

2021/05/17 CVPR 2022

概要

Research Question

ViTはCNNと比較して頑健性が高いことが報告されているが、既存のViTにはまだかなり頑健性向上の余地があるのではないか？

Elevator Pitch

[敵対的摂動・破損・分布の移動に対してモデルを頑健に] したい [ViTユーザー] 向けの, [Robust Vision Transformer (RVT)] という手法は, [頑健性の高いViT] です. これは [ImageNet-CやImageNet-SketchのようなベンチマークでTop-1の精度が達成] ができ, [既存のViT] とは違って, [頑健性の強いコンポーネントで構成された building block] が備わっている.

TeX

% yyyy/mm/dd
@inproceedings{
    mao2022towards,
    title={Towards Robust Vision Transformer},
    author={Xiaofeng Mao and Gege Qi and Yuefeng Chen and Xiaodan Li and Ranjie Duan and Shaokai Ye and Yuan He and Hui Xue},
    booktitle=CVPR,
    year={2022}
}

[gatheluck]

• Position-Aware Attention Scaling (PAAS): position encodingの役割を果たす. 主要なattentionのみを活性化する.
• patch-wise augmentation: 過学習のリスクを減らす.