[2021] Deep Stable Learning for Out-of-Distribution Generalization

[gatheluck]

論文リンク

• arXiv

公開日（yyyy/mm/dd）

2021/06/23 CVPR 2021

概要

TeX

% yyyy/mm/dd
@inproceedings{
    zhang2021deep,
    title={Deep Stable Learning for Out-of-Distribution Generalization},
    author={Xingxuan Zhang and Peng Cui and Renzhe Xu and Linjun Zhou and Yue He and Zheyan Shen},
    booktitle=CVPR,
    year={2021}
}

[gatheluck]

out-of-distribution (OOD) generalizationについての研究. 「学習データのドメインが不明」, 「latentのドメインがバランスされていない」というより現実的な状況を想定. 既存の線形モデルにおける結果をDNNに拡張するに際して次の２点が困難な点.

1. 特徴量間の非線形で複雑な依存関係の測定
   • Random Fourier Featuresを使用して線形のコストで計算可能な非線形特徴の非相関化手法を提案.
2. 既存のglobal sample weighting strategyは膨大な記憶領域と計算コストを要求する
   • 特徴と重みを繰り返し保存・再読み込みすることで, 大域的に相関関係を知覚・除去する効率的な最適化手法を提案.

[gatheluck]

サンプルの重み付けによって、関連する特徴と無関係な特徴の間の統計的な相関を排除することが出来る、StableNetを提案. PACS, VLCS, MNIST-M, NICOなどのベンチマークにおいてSoTAと同等以上の結果.