e4exp
commented
3 years ago 結論
我々は、1枚の画像や動画から学習するような、2つの異なるワンショット設定で動作する新しい無条件生成モデル、One-Shot GANを提案する。 このような低データ領域において、我々のモデルは記憶を防ぎ、学習セットとは大きく異なる多様な画像を生成する。 ワンショット画像合成は、本来、元のサンプルに存在するオブジェクトの外観に制約されます。 しかし、ワンショットGANは、シーンの元の文脈や妥当性を維持したまま、オブジェクトを異なる組み合わせでブレンドしたり、画像内の形状や位置を変えたりすることで、新規のシーン構成を合成することができます。 このような合成を可能にしているのは、1枚の画像や動画から学習しながら、驚くべきことに、オブジェクトと背景を区別するモデルの能力です。 OneShot GANは、データ収集が依然として困難な領域において、データ増強のための有用なツールを提供すると考えています。
GANは、多数の学習サンプルがあれば、画像合成タスクにおいて顕著な性能を発揮することができる。 しかし、GANを極めて少ないデータ量で学習することは、しばしばオーバーフィッティングが発生し、記憶や学習の発散につながるため、依然として課題となっています。 本研究では、1枚の学習画像または1つのビデオクリップからサンプルを生成することを学習できる、無条件生成モデルであるOne-Shot GANを紹介する。 本研究では、内部コンテンツとシーンレイアウトのリアリズムを別々に判断するように設計されたコンテンツブランチとレイアウトブランチを持つ、2ブランチ識別器アーキテクチャを提案する。 これにより、元のサンプルの文脈を維持したまま、コンテンツとレイアウトを変化させて、視覚的に妥当で新しいシーンの構成を合成することができる。 従来の単一画像のGANモデルと比較して、ワンショットGANは、単一画像の設定に制限されないだけでなく、より多様で高品質な画像を生成します。 また、本モデルが他のワンショット領域をうまく扱うことができることを示し、1つのビデオから生成モデルを学習するという新しいタスクを紹介します。