e4exp
commented
3 years ago - はじめに
セマンティックセグメンテーションのタスクでは，与えられたシーンにピクセルレベルのカテゴリーラベルを割り当てるモデルが必要です． 深層学習モデルは，大量の高品質なアノテーション付き学習データを用いてベンチマークデータセット上で良好な性能を達成しているが[1, 46]，照明，外観，視点，背景などが異なるため，学習データとテストデータの間でドメインシフトが発生するという現実的な課題に直面している． 教師なしドメイン適応(UDA)は，ドメイン分布の調整[37]や，ターゲット擬似ラベルの再帰的な改良[54]によって，このドメインギャップを解消できる可能性がある．
近年、マルチタスク学習[47, 41]の成功に刺激され、補助タスク（深度推定など）が適応のために使用されることが多くなっている。 補助タスクはセマンティクスと結合されていることが多いため、主なセグメンテーションタスクに有益であることが証明されている[18]。 既存の研究[38, 3]では，補助的な奥行きネットワークを訓練するために，合成ソースドメインからのアクセスしやすい奥行き情報を利用しているが，ターゲットの奥行きはアクセスできないため，考慮していない． ステレオペア[7, 8]やビデオシーケンス[53]から深さを学習することができる、自己教師付き深さ推定の最近の進展に触発され、我々は、グランドトゥルース深さが利用できないドメイン（ソースドメインおよび/またはターゲットドメイン）に対して自己教師付き深さ推定を利用することを提案する。 自己教師付き深度推定を追加することで、タスク間の相関を明示的に学習し、最終的なセマンティックセグメンテーションの性能を向上させることができる。 相関関係の学習は、タスク間の相関関係が、個々のモダリティよりもドメイン間でより不変であるという事実に基づいている。 先行研究[3]で述べられているように、空は常に遠くにあり、道や横は常に平らである。 このような意味論と奥行きの間のドメインロバストな相関関係は、ドメインシフトがあった場合に、対象となる意味論的セグメンテーションの性能を大きく向上させる可能性があります。
この目的のために、我々は2つの方法でこの相関関係を利用することを提案する。 一方では、深さと意味性の間のタスク特徴の相関を明示的に学習することを提案する。 これは、ドメイン共有のマルチモーダル蒸留モジュールを使用して、セマンティクスと深さの特徴の間の相互作用と相補性をモデル化することによって達成される。 ソースドメインから学習された相関は、ターゲットドメインに共有・転送され、ターゲットセグメンテーションのパフォーマンスを向上させることができます。 一方、相関関係を利用して、ターゲットのセマンティック擬似ラベルを精緻化します。 適応の難しさを、ドメイン固有の深度デコーダの予測値の間の不一致を計算することで近似する。 深度と意味論が結合していることから、推定された適応困難度は深度から意味論へと移行できると仮定する。 この関係を利用して、ターゲットドメイン上でのセマンティックセグメンテーション疑似ラベルの改良を導くことを提案する。 相関関係を利用する2つの方法を組み合わせることで、Correlation-Aware Domain Adaptation (CorDA)アプローチを提案する。 図1は、相関関係を利用する2つの方法を示しています。 また、我々の戦略は簡単に実装できることも特筆すべき点である。 自己教師付き深度推定は、アクセスしやすい画像シーケンスやステレオ画像から学習することができ、提案する相関学習モジュールは、セマンティックセグメンテーションのために既存のUDAネットワークに容易に組み込むことができる。 我々は、ベンチマークタスクであるSYNTHIA-to-CityscapesおよびGTA-to-Cityscapesにおいて、提案手法の有効性を実証し、最先端のセグメンテーション性能を新たに達成した。 我々の貢献は以下のように要約される。
- 我々は、セマンティックセグメンテーションを改善するために、両ドメインで利用可能な自己教師付き深度推定を効果的に利用する新しいUDAフレームワークを提案する。
- 具体的には、モダリティ間の相関を明示的に学習し、それをドメイン間で共有します。さらに、深度予測の不一致で近似される適応困難性を用いて、意味的擬似ラベルを改良する。
- 提案手法はシンプルであるにもかかわらず、ベンチマークタスクであるSYNTHIA-to-CityscapesおよびGTA-to-Cityscapesにおいて、最先端のセグメンテーション性能を達成した。
セマンティックセグメンテーションの主な適応は、ソースドメインとターゲットドメインの間に分布のずれがある場合に、モデルのパフォーマンスを向上させることを目的としています。 多くの視覚的タスクは互いに密接に関連しているため、補助的なタスク（深度推定など）からの監視を活用することで、このシフトを緩和できる可能性があります。 しかし、そのような監視は常に利用できるわけではありません。 本研究では、両方のドメインで利用可能な自己教師付き深度推定からのガイダンスを活用して、ドメインギャップを埋める。 一方では、ターゲットの深さ推定の助けを借りて、ターゲットの意味的予測を強化するために、タスク特徴の相関を明示的に学習することを提案する。 一方、我々は、ソースとターゲットの深度デコーダからの深度予測の不一致を使用して、ピクセル単位の適応難易度を近似します。 そして、深度から推測される適応困難度を用いて、ターゲットのセマンティックセグメンテーションの擬似ラベルを精緻化する。 提案手法は、既存のセグメンテーションフレームワークに簡単に実装することができる。 提案手法の有効性を、ベンチマークタスクであるSYNTHIA-to-CityscapesおよびGTA-to-Cityscapesにおいて実証したところ、それぞれ55.0%、56.6%という最先端の性能を得ることができた。 我々のコードは url{this https URL} で公開されています．
https://github.com/qinenergy/corda