Few-shot Semantic Image Synthesis Using StyleGAN Prior

[e4exp]

• https://arxiv.org/abs/2103.14877
• 2021

本論文では、セマンティックレイアウトからフォトリアリスティックな画像を生成するという困難な問題に取り組んでいる。 我々は、StyleGAN事前分布を用いて、セマンティックマスクの擬似的なラベリングを行う学習戦略を提案する。 我々の重要なアイデアは、いくつかのセマンティックマスクの例から、StyleGAN特徴と各セマンティッククラスの間の簡単なマッピングを構築することである。 このようなマッピングがあれば、事前に学習したStyleGAN生成器を制御するためのエンコーダを学習するために、ランダムなノイズから無限の数の疑似セマンティックマスクを生成することができます。 擬似的なセマンティックマスクは、ピクセルアラインメントされたマスクを必要とする従来のアプローチでは粗すぎるかもしれないが、本フレームワークは、高密度のセマンティックマスクだけでなく、ランドマークや落書きなどの疎な入力からも高品質な画像を合成することができる。 様々なデータセットを用いた定性的および定量的な結果から、1ショットまたは5ショットの設定で、レイアウトの忠実性と視覚的品質に関して従来のアプローチよりも改善されたことが示された。

[e4exp]

[e4exp]

6. 結論

本論文では，数ショットのセマンティック画像合成のための，シンプルかつ効果的な手法を初めて提案した。 ピクセル単位のアノテーションデータの不足を補うために、事前学習したStyleGAN生成器の特徴ベクトルと、数ショットのラベル付きデータの各意味クラスとの間の（k-）最近傍マッピングを介して、擬似的な意味マスクを生成する。 各学習反復において，ランダムなノイズから擬似的なラベルを生成し，単純なL2損失を用いて，事前に学習したStyleGAN生成器を制御するためのエンコーダ[26]を学習することができる． 様々なデータセットを用いた実験により，我々の手法は，競合する手法よりも高品質な画像を空間的に制御して合成することができ，落書きやランドマークのような疎なセマンティックマスクでもうまく動作することが実証された．