[2020] Auxiliary Training: Towards Accurate and Robust Models

gatheluck / PaperReading

Notes about papers (in Japanese)

0 stars 0 forks source link

[2020] Auxiliary Training: Towards Accurate and Robust Models #141

Open gatheluck opened 4 years ago

gatheluck commented 4 years ago

論文リンク

公開日（yyyy/mm/dd）

2020/06/16 CVPR 2020

概要

TeX

% 2020/06/16
@inproceedings{
    zhang2020auxiliary,
    title={Auxiliary Training: Towards Accurate and Robust Models},
    author={Linfeng Zhang and Muzhou Yu and Tong Chen and Zuoqiang Shi and Chenglong Bao and Kaisheng Ma},
    booktitle=cvpr,
    year={2020}
}

gatheluck commented 4 years ago

Problem (want to solve)

Accuracy vs. robustness trade-off 問題に対する研究。

gatheluck commented 4 years ago

Novelty

Auxiliary Trainingという新しい学習のフレームワークを提案している点。提案手法では、Backbornを共有した、複数のheadを持つ分類器を用いる。それぞれのheadに特定のノイズ画像を正しく分類することを学習させ、最後に自己蒸留によって知識を１つの分類器に集約する。

gatheluck commented 4 years ago

Result

CIFAR10とCIFAR10-Cを用いた実験では、Patch Gaussianや画像の回転を使用したデータ拡張と比較して、精度とcorruptionに対する頑健性の両方を向上。
また、Auxiliary Trainingを用いて、Adversarial Trainingとcorruptionに対する学習を同時に行うとAdversarial Examplesに対する頑健性が向上することを確認した。