IMAGINE: Image Synthesis by Image-Guided Model Inversion

[e4exp]

• https://arxiv.org/abs/2104.05895
• 2021

本研究では、単一の学習サンプルから高品質で多様な画像を生成するために、IMAge-Guided model INvErsion (IMAGINE)と呼ばれる反転法を導入します。 IMAGINEでは、事前に学習した分類器の画像セマンティクスの知識を活用して、外部の識別器との敵対的な学習に関連付けられた分類器の多レベルの特徴表現を照合することで、もっともらしい世代を実現します。 IMAGINEは、合成手順において、 1）合成中に意味的特異性の制約を適用する、 2）生成器の訓練なしに現実的な画像を生成する、 3）生成プロセスをユーザーが直感的に制御する、 を同時に可能にします。 IMAGINEは、3つの異なる画像領域（オブジェクト、シーン、テクスチャ）において、最先端のGANベースの手法や反転ベースの手法と比較して、質的にも量的にも優れた性能を発揮することを広範な実験結果で示しています。

[e4exp]

[e4exp]

5. 結論

本研究では、1枚の学習画像から画像を合成するIMAGINEを提案した。 IMAGINEは、GANモデルを学習する代わりに、事前に学習した分類器の様々なレベルの意味的特徴を照合して画像を合成する。