Open Yagami360 opened 5 years ago
Activation normalization (act norm) を採用: Real NVP では、batch norm が採用されていたが、この batch norm では、解像度の高い画像を扱う際に GPU のメモリを大きく消費してしまう。一方でメモリ使用量を抑えようとバッチサイズ1 で学習を行うと、変動が増加して学習が不安定になってしまう。 Glow では、この問題を解決するために、Activation normalization (act norm) を採用する。 これは、最初のミニバッチの平均値と分散値を用いて、各チャンネルに対してのアフィン変換用のスケール値とバイアス値を初期化して、以降はその初期化されたアフィン変換用のスケール値とバイアス値で学習を進めていくというデータ依存型初期化 [data dependent initialization] の正規化手法である?
invertible 1x1 conv: coupling layer では、各層で次元が一致している必要があるが、従来の NICE や Real NVP では、チャンネル数の順番を反転させる [reverse] ことで次元を一致させていた。 一方 Glowでは、可逆な 1x1 の畳み込み処理を行うことで、複数の coupling layer 間の次元を一致させている。
これにより、アーキテクチャがよりシンプルになり、更に以下のグラフのように 負の対数尤度がより小さくかつより速く収束する。これにより、生成画像の品質向上と計算効率の向上が見込めるようになるメリットがある。
affine coupling layer を採用: Real NVP と同様にして、General coupling layer として、affine coupling layer を採用している。 ※ NICE では、additive coupling layer
Multi-scale architecture の採用: Real NVP と同様にして、Multi-scale architecture を採用している。 但し、invertible 1x1 conv の構造おかげで、Real NVP の Multi-scale architecture に比べて、 シンプルな構造になっている。
既存の先行研究である Real NVP と定量的な比較により、より生成画像の品質がより優れていることを検証している。
又、いくつかの実験設定で、生成画像の品質を定性的に検証している。
0. 論文情報・リンク
1. どんなもの?
2. 先行研究と比べてどこがすごいの?
3. 技術や手法の"キモ"はどこにある?
Activation normalization (act norm) を採用: Real NVP では、batch norm が採用されていたが、この batch norm では、解像度の高い画像を扱う際に GPU のメモリを大きく消費してしまう。一方でメモリ使用量を抑えようとバッチサイズ1 で学習を行うと、変動が増加して学習が不安定になってしまう。 Glow では、この問題を解決するために、Activation normalization (act norm) を採用する。 これは、最初のミニバッチの平均値と分散値を用いて、各チャンネルに対してのアフィン変換用のスケール値とバイアス値を初期化して、以降はその初期化されたアフィン変換用のスケール値とバイアス値で学習を進めていくというデータ依存型初期化 [data dependent initialization] の正規化手法である?
invertible 1x1 conv: coupling layer では、各層で次元が一致している必要があるが、従来の NICE や Real NVP では、チャンネル数の順番を反転させる [reverse] ことで次元を一致させていた。 一方 Glowでは、可逆な 1x1 の畳み込み処理を行うことで、複数の coupling layer 間の次元を一致させている。
これにより、アーキテクチャがよりシンプルになり、更に以下のグラフのように 負の対数尤度がより小さくかつより速く収束する。これにより、生成画像の品質向上と計算効率の向上が見込めるようになるメリットがある。
affine coupling layer を採用: Real NVP と同様にして、General coupling layer として、affine coupling layer を採用している。 ※ NICE では、additive coupling layer
Multi-scale architecture の採用: Real NVP と同様にして、Multi-scale architecture を採用している。 但し、invertible 1x1 conv の構造おかげで、Real NVP の Multi-scale architecture に比べて、 シンプルな構造になっている。
4. どうやって有効だと検証した?
既存の先行研究である Real NVP と定量的な比較により、より生成画像の品質がより優れていることを検証している。
又、いくつかの実験設定で、生成画像の品質を定性的に検証している。
5. 議論はあるか?
6. 次に読むべき論文はあるか?