[2021] BREEDS: Benchmarks for Subpopulation Shift

[gatheluck]

論文リンク

• arXiv

公開日（yyyy/mm/dd）

2020/08/11 ICLR 2021

概要

TeX

% yyyy/mm/dd
@inproceedings{
    2021breeds,
    title={BREEDS: Benchmarks for Subpopulation Shift},
    author={Shibani Santurkar and Dimitris Tsipras and Aleksander Mądry},
    booktitle=ICLR,
    year={2021}
}

[gatheluck]

学習時には見たことのないデータのsubpopulationsに対してモデルがどのくらい汎化するのかを調査した研究

[gatheluck]

subpopulation shiftを評価する大規模データセットであるBREEDSを作成・公開 subpopulation shiftの例：学習データの犬クラスにプードルとテリアの画像しかない場合に、テスト時にダルメシアンを犬と分類出来るか？

[gatheluck]

BREEDSベンチマークはImageNetの既存のクラスの内、意味的に類似のものをまとめて親クラスを作成し、親クラスの分類問題用の学習データとテストデータが含まれている。学習データとテストデータには異なる子クラスがそれぞれ含まれており、subpopulation shiftを疑似的に再現している。親クラスが妥当な構成になっているかを評価するために、人間による評価も行っている。

[gatheluck]

実験結果

• subpopulation shiftはモデルの精度を著しく低下させる
• subpopulation shiftの前後でモデルの精度の順位は変わらなかった
• テストデータに付いて最終層のみfine tuningしても精度はさほど向上しなかった
• ATのような頑健なモデルの方がsubpopulation shiftに対しても頑健な傾向があり、これは特に最終層のみfine tuning後の結果で顕著だった。