Image De-raining Using a Conditional Generative Adversarial Network

[kacky24]

short summary

画像から，雨・雪の影響を取り除くGAN(ID-CGAN)の提案．

objective function

x: input rainy image z: random noise vector y: output image

Generator

• C: convolutional layer
• B: batch normalizationi
• P: PReLU
• D: deconvolutional layer
• R: ReLU
• K: カーネル数

skip connectionを2skipごとに

Discriminator

Refined perceptual loss

ganは訓練時不安定になりやすく，noisy or incomprehensibleな結果を出力しやすい ← 新しいinputがtraining sampleの分布から来たものでない可能性 左input, 中output without perceptual loss，右output with perceptual loss 真ん中のnornal ganによる出力では多くの人工物が生成されてしまっている． ⇒ perceptual lossの導入

• 最近，高抽象度の特徴表現におけるloss function，例えばCNNの層ごとに計算されるlossが，traditional CNNsで用いられるper-pixel lossより良いvisual performanceを示している．
• しかし，perceptual lossはcolor, textureの情報を保つことができない場合が多い．
• quantitative scoresも良くない

⇒ pixel-to-pixel Eucilidean loss, perceptual loss, adversarial loss(loss from D)を組み合わせる

• {x, yb}: image pair
• C, W, H: channels, width, height of image
• phiE: G

• Ci, Wi, Hi: size of the outouts of certain high-level layer
• V: non-linear CNN transformation
  • feature loss at layer relu2_2 in VGG16

entropy loss from D

implement detail

• image size: 256 * 256
• batch size: 7
• iteration: 100k
• optimizer: Adam
• learning rate: 2 * 10-3
• lamda a: 6.6 * 10-3
• lamda p: 1
• K: 64
• K2: 48
• Gの畳み込み層は，すべてフィルター3 * 3，stride 1, zero padding 1
• Dの畳み込み層は，
  • 最初の3層はフィルターサイズ4 * 4, stride 2, zero padding 1
  • 最後の2層はフィルターサイズ4 * 4, stride 1, zero padding 1

URL

https://arxiv.org/pdf/1701.05957.pdf

author

He Zhang, Student Member, IEEE, Vishwanath Sindagi, Student Member, IEEE Vishal M. Patel, Senior Member, IEEE