yuckYew
commented
5 years ago Image-to-Image Translation with Conditional Adversarial Nets
Abstract
- Conditional Adversarial Networkを応用して一般的なimage-to-image変換の問題を解く
- ネットワークは入力画像から出力画像への写像の学習のみならず、この写像を学習するためのloss functionをも学習する。
- これにより、従来ではタスクごとに異なるloss functionを設計する必要があったものに対しても汎用的なアプローチを取ることができる。
- この手法を用いてた次の応用例を紹介している
- ラベル画像から写真の合成
- エッジマップから物体を再構成
- 白黒画像をカラー画像へ変換
- 本論文の付録として無償公開されているアプリケーションによってネットユーザーが多くの成果物を作り、これが本手法の実用性を裏付けている。
- 本研究領域では、今後手動によるマッピング関数の設計を行う必要がなく、本手法によってloss関数も手動設計を行うことなく妥当な結果が得られることを示唆している。
Introduction
- 画像変換タスクでは様々な目的に特化した独自の手法が挙げられてきたが、いずれも目的は「pixelからpixelを予測する」という非常にシンプルなものである。
- CNNは様々な画像推定タスクで一般的に用いられるようになったが、学習は自動であっても有効なlossを設計することに多くの手間を要する。結局何を最小化するか教えなくてはならない。
- CNNに推定pixelとground truth pixelのユークリッド距離を最小化する愚鈍なアプローチをとってしまうと、すべての出力を平均化しぼやけが画像が得られる。
- ここで「出力を現実のものと区別できなくする」といったより高次な目標を設定し、その目標に向けて自動的にlossが学習するような機構が得られたら理想的である。
- これがまさにGenerative Adversarial Networks(GANs)
- 本稿ではGAN、特に画像変換タスクに好ましいconditional GANs(cGANs)について調査する。
Related work
- Structured losses for image modeling
- Conditional GANs
Method
GANの説明とconditional GANの目的関数の紹介
(ありきたりだが式のせて説明したい)
generatorの構造：skip connectionをもつU-Netアーキテクチャ
discriminatorの構造：Markovian discriminator(PatchGAN)
- 画像をパッチスケールで制約を課す画像の高周波成分を学習するdiscriminator(=PatchGAN)を提案
- discriminatorは画像にける各NxNパッチを本物か偽物か識別し、畳込みで全体を走査し、各出力を平均化し最終的な出力Dを求める
- どうやらNは画像に対して極端に小さい値をとっても高品質な結果画像が得られるそう(Section 4.4)
- この利点として、パラメータ数が少なく、実行時間が早く、任意のサイズの画像に適用できる。
最適化と推論時の工夫
- Generatorの学習はGANの原論文に従いmin log(1-D(x,G))でなくmax(D(x,G))を行ってる
- Gに対して、Discriminatorの学習を相対的に遅くしている
- minibatch SGD + Adam solver(lr=2e-4, β1=0.5, β2=0.999)
- 推論時は生成タスクで有効なinstance normalizationを行っている
- 実験に応じてバッチサイズを1~10に設定している
Paper https://arxiv.org/abs/1611.07004
Github https://github.com/phillipi/pix2pix
Webpage https://phillipi.github.io/pix2pix/