Labels4Free: Unsupervised Segmentation using StyleGAN

[e4exp]

• https://arxiv.org/abs/2103.14968
• 2021

我々は、StyleGANで生成されたオブジェクトのための教師なしセグメンテーションフレームワークを提案する。 我々は2つの主要な見解に基づいている。 まず、StyleGANによって生成された特徴は、セグメンテーションネットワークのトレーニングに利用できる貴重な情報を持っている。 2つ目は、前景と背景はほとんど独立しているように扱われ、異なる方法で合成されることが多い。 我々の解決策としては、StyleGAN2のジェネレーターのアーキテクチャにセグメンテーションブランチを追加し、ジェネレーターを前景と背景のネットワークに分割することを提案する。 これにより、前景オブジェクトに対するソフトセグメンテーションマスクを、教師なしで生成することができます。 複数のオブジェクトクラスにおいて、最新の教師付きセグメンテーションネットワークと同等の結果を報告する一方で、最良の教師なしセグメンテーションアプローチに対しては、質的・量的指標の両方で明確な改善を示した。

[e4exp]

[e4exp]

我々は、StyleGANで生成された画像を前景と背景のレイヤーに教師なしでセグメンテーションするフレームワークを提案した。 このセグメンテーションの最も重要な特性は、監督なしで完全に動作することです。 そのために、レイヤーに既に存在する情報を利用して、セグメンテーション情報を抽出します。将来的には、照明情報、追加クラスへのセグメンテーション、深度情報など、他の情報を教師なしで抽出することも検討していきたいと考えています。