Geometric Unsupervised Domain Adaptation for Semantic Segmentation

[AtsukiOsanai]

• ICCV2021
• arXiv
• TRI-AD

[AtsukiOsanai]

Introduction

• UDA(Unsupervised Domain Adaptation)の王道はadversarial learning or pseudo labelを用いたself-training
• 本論文ではセマセグのUDAを，self-supervised monocular depth estimationという他のモダリティ情報を活用して行う方法を提案する

[AtsukiOsanai]

Method

• Loss for target domain
  • L_p: pose estimationを利用したフレーム間の画像類似度に関するLoss
  • L_pl: source domainで学習したセマセグモデルを用いたtarget domainのpseudo labelに対するLoss
• Loss for source domain
  • L_s: bootstrapped cross-entropy loss
  • L_d: scale invariant logarithmic loss (https://arxiv.org/pdf/1907.10326.pdf)
  • L_n: surface normal loss
  • L_pp: sourceでは全てのsupervisionが得られることを利用したphotometric loss（詳細は論文参照）

[AtsukiOsanai]

Conclusion

• Target domainのsequence of imagesを利用したself-supervised monocular depth estimationを活用したsemseg向けのUDA手法を提案
• adversarial learningやpseudo labelingに対し精度の改善を確認
  • depthの学習が何かしらの形でsemsegのためのencodingにも良い影響を与えたと解釈可能
• source domainのデータも活用できる恩恵で，target domainにおけるdepth estimationの精度もsemsegと同様に向上するという副次的な効果が得られた