[Kim+2020]Learning Texture Invariant Representation for Domain Adaptation of Semantic Segmentation

[yusukekyokawa]

書誌情報

論文リンク

http://openaccess.thecvf.com/content_CVPR_2020/papers/Kim_Learning_Texture_Invariant_Representation_for_Domain_Adaptation_of_Semantic_Segmentation_CVPR_2020_paper.pdf

著者/所属機関

Myeongjin Kim Hyeran Byun Yonsei University

conf/journal

CVPR2020

year

一言でいうと

セマンティックセグメンテーションのためのピクセルレベルのラベルのアノテーションは手間がかかるため、合成データを活用することは魅力的な解決策である。しかし，合成領域と実領域の間にはドメインギャップがあり，合成データを用いて学習したモデルを実データに一般化することは困難である．本論文では、2つの領域の根本的な違いをテクスチャと考え、対象領域のテクスチャに適応する手法を提案する。まず，スタイル転送アルゴリズムを用いて合成画像のテクスチャを多様化する．生成された画像のテクスチャを多様化することで、セグメンテーションモデルが特定の（合成された）テクスチャにオーバーフィットすることを防ぐ。次に、自己学習を用いてモデルを微調整し、ターゲットテクスチャの直接監視を得る。我々の結果は最先端の性能を達成し、大規模な実験を用いて、スタイル化されたデータセット上で訓練されたモデルの特性を分析する。

新規性

1. セマンティックセグメンテーションの領域適応のために、画素レベル法と自己学習を組み合わせて、対象領域のテクスチャに適応する手法を設計している。
2. GTA5からCItyscapesのベンチマークでSOTA
3. 大規模な実験により、我々は定型化されたデータセットで訓練されたモデルの特性を解析
4. 本研究では、合成領域と実領域との間のドメインギャップを低減するという点で、従来のCycleGANをベースとした手法と比較して、スタイル伝達に基づくアプローチを行った。

手法

結果

コメント