e4exp
commented
3 years ago 機械学習システムは，サンプル内とサンプル外が独立かつ同一分布であると仮定しているため，サンプル外の分布を一般化できないことがよくあります． しかし，データが時間的・空間的に変化する可能性が高い実世界のシナリオでは，この仮定が成り立つことはほとんどありません． 深層畳み込みニューラルネットワークの特徴は，低レベルの視覚的手がかりに対して領域不変であることが多いのですが [35] ，一部の研究 [10] では，依然として領域シフトの影響を受けやすいことが示唆されています． 領域外にうまく一般化できるモデルを開発する取り組みが増えています。 領域一般化(DG)に関する文献では，複数の異なる領域にまたがる不変性を学習し，分類器がそのような不変性を未見のテスト領域でロバストに活用できるようにすることを目指している[40, 15, 29, 28, 31, 38]． ドメイン汎化タスクでは，学習時に複数のソースドメインにアクセスできるが，ターゲットドメインにはアクセスできないことが想定されている[4, 31]． これは，学習時に対象ドメインの例が利用可能であるドメイン適応（DA），半教師付きドメイン適応（SSDA），教師なしドメイン適応（UDA）問題とは異なる． 本論文では，領域一般化問題に注目する．
最近の研究[7, 20, 33]では，埋め込み空間において，正のペアのサンプルの潜在表現を近くに，負のペアのサンプルの潜在表現を遠くにマッピングすることで，対比学習を自己教師付き学習タスクにうまく利用できることが示唆されている． このような対照的な学習戦略は、主な汎化タスクにも利用されており[30, 11]、同様に、埋め込み空間における同一クラスの特徴の距離を縮め、異なるクラスの特徴の距離を伸ばすことを目的としている。 しかし，このような負のペアは，有用な負のサンプルが同じバッチで得られない限り，学習が不安定になることが多く，これはしばしば困難である． 本研究では、図1に示すように、正のペアのサンプルのみを用いて、領域一般化タスクのためのコントラスト学習を再検討する。 一般的に、正のペアのサンプルを用いると性能が低下することが知られており、これはしばしば表現の崩壊と呼ばれている[17]。 最近の自己教師付き学習の研究[8, 17]では，ネットワークの最後にもう1つの投影層を配置することで表現崩壊を回避することに成功しているが，我々はドメイン不変な特徴を学習することに成功し，自己教師付き対比損失を用いて学習したモデルは，他の最先端の手法と同等以上の性能を示している．
しかし、自己教師付きコントラスト損失は、物語の一部に過ぎません。 一般的に損失関数には線形形式を使用しているため、ネットワークパラメータがドメイン不変の特徴を生成するように収束するためには、適切に勾配のバランスをとる必要があります。 この問題を軽減するために、我々は以下の3つの勾配安定化技術を適用することを提唱する。
(i)ロスクリッピング、 (ii)確率的重み平均化(SWA)、 (iii)ドメイン間カリキュラム学習(IDCL)である。
これらの技術を組み合わせることで、モデルの一般化能力がさらに向上することがわかった。
提案モデルを効果的に評価するために，まず，PACS [26]と呼ばれる公開されている領域一般化データセットを使用し，我々の主張を裏付けるために我々のモデルを詳細に分析した． さらに，より大規模なベンチマークであるDomainBed [18]を用いて実験を行ったところ，我々のモデルは最先端の代替手法に対して同等以上の性能を示した． 我々の主な貢献を以下のようにまとめます。
- SelfRegは、負のペアを使わずに正のペアだけを使ったメトリック学習の適用を容易にする。
- 我々は、正のペアのみを使用する条件を利用してCDPLを考案した。CDPLとmixupの組み合わせにより、mixupアプローチの弱点を改善した。
- 公正で現実的な環境でDGの性能を比較できるDomainBedにおいて、SOTA DG法と同等の性能が確認された。
一般的に深層学習の実験環境では、学習データセットとテストデータセットが同じ分布からサンプリングされていることを前提としています。 しかし、実世界では、2つのデータセット間の分布の違いであるドメインシフトが発生することがあり、これがモデルの汎化性能を阻害する大きな要因となる。 この問題を解決するための研究分野はドメインジェネライゼーションと呼ばれ、ドメインに不変な特徴を明示的または暗黙的に抽出することでドメインシフトの問題を緩和する。 最近の研究では，対照学習に基づく領域一般化アプローチが提案され，高い性能を達成している． これらのアプローチでは，負のデータペアのサンプリングが必要である． しかし、コントラスト学習の性能は、負のデータペアの質と量に根本的に依存している。 この問題を解決するために、我々は対比学習に基づく領域一般化のための新しい正則化手法である自己教師付き対比正則化(SelfReg)を提案する。 提案手法では正のデータペアのみを用いるため、負のデータペアのサンプリングに起因する様々な問題を解決することができる。 さらに，クラス固有の領域摂動層(CDPL)を提案することで，正のデータペアのみを用いた場合でも，ミックスアップ補強を効果的に適用することが可能となる． 実験結果は、SelfRegが取り入れた技術が、互換性を持って性能に貢献していることを示しています。 最近のベンチマークであるDomainBedにおいて、提案手法は従来の最先端の代替手法と同等の性能を示した。 コードはこのhttpsのURLから入手できます。 https://github.com/dnap512/SelfReg