Consistency Regularization for Generative Adversarial Networks

Han Zhang, Zizhao Zhang, Augustus Odena, Honglak Lee

2019-10-26

1. どんなもの？

Discriminatorの学習をより安定させるための手法としてSpectral Normalizationのような正規化を行う手法や、勾配のノルムにペナルティを設けるRegularizationを行う手法が存在する。

しかし上記のような勾配を用いる正則化とSNのような正規化は同時に使用しても性能の向上が見られないことが確認されている。

本研究では勾配を使用しない正則化手法であるConsistency Regularizationを提案した。本手法は半教師あり学習の使用されている、入力されたデータにデータ増強をかけても同じサンプルだと識別できるようにする手法である。

イメージとしてはDiscriminatorで計算される特徴空間上でデータ増強をかけてサンプルと元のサンプルが近い距離に存在するように識別を行っていくことが期待される。

Consistency Regularizationは半教師あり学習において、入力される画像に対して意味を保持したまま変換できるFlippingやCroppingを行って、分類器がこうした変動に対して頑強になるように学習させることができる手法である。

Consistency RegularizationをDiscriminatorの学習時に適用するために、元の入力画像と変換を行った画像とを入力した際に、各層の活性化関数を適用する前の特徴マップが同じになるようにL2正則化を行っている。

なお実験時にはDiscriminatorの最終層の出力に対してのみConsistency Regularizationを適用している。

全体の学習アルゴリズムは以下になる。通常のGANの学習と異なる点はデータ増強を行う点とLcrの計算のみである。

各正則化手法を各損失関数とSpectral Normalizationを組み合わせた時のFIDの値を比較すると以下の結果が得られる。どの条件設定においても、本手法がほかの手法を上回る性能を発揮している。またどの組み合わせに関しても頑強であることがわかる。

またCIFAR10とCelebAに対して条件なしのGANを学習させたときの最もよかったFIDを比較すると以下の結果となる。その条件に関しても本手法がほかの正則化手法を上回っていることがわかる。

また正則化を行う際の係数を変化させることでFIDがどのように変化するのかを検証している。けｋｋ結果としては効果を値を大きくすることがFIDの改善がみられており、ほかの手法に対してよりパラメータに対して頑強であることがわかる。

次にResNet構造を採用した場合のFIDを比較している。本手法はネットワークの構造に対しても頑強であり、どの条件設定でも最もいい値を達成できている。

最適化を行う際の条件を変化させた際にどのように結果が変化するのか検証を行った。変化させた条件としては学習率とβ、Discriminatorの更新回数である。

結果を見るとわかるようにどの設定に関しても本手法が最もいいFIDを達成できていることがわかる。

生成される画像の多様性を量的に検証することが可能であるISを比較すると、本手法が最も高い性能を発揮している。