個々のノードが GAN である Tree 構造をもつ階層的なアーキテクチャで、複数の異なるデータセットでの学習に対しても、うまく学習出来るようにした GAN フレームワーク。
2. 先行研究と比べてどこがすごいの?
従来の GAN 手法では、単一のデータセット(ImageNet, MNISTなど)における学習はうまく出来ていたが、複数の異なるデータセット(例:F-MNIST+MNIST)で学習を行おうとすると、その学習データ間におけるデータ分布の不連性が原因でうまく学習出来なかった。
本手法では、個々のノードが GAN である Tree 構造をもつ階層的なアーキテクチャを採用し、ルートノードで完全なデータセットを学習し、子ノードでそれらを分割した部分的なデータセットを学習することで、このような不連続なデータ分布をもつ複数のデータセットでもうまく学習出来るようにしている。
3. 技術や手法の"キモ"はどこにある?
複数の異なるデータセットにおけるデータ分布の不連続性:
2つの異なるデータセットで GAN を学習させようとすると、上図のように、2つのデータセット間(赤色分布=データセット1、青色部分=データセット2)の部分で不連続性が生じるために、この境界領域における潜在変数 z に対する生成画像(ピンクの部分)はぼやけてしまう問題が存在する。
本手法では、各々のノードが GAN である Tree 構造をもつ階層的なアーキテクチャを構成することで、このような不連続なデータ分布をもつ複数のデータセットでもうまく学習出来るようにしている。
GAN-Tree
GAN-Tree のアーキテクチャは、上図のように、各々が GAN であるノード GN^((i)) (i=1,2,...) の Tree 構造で構成される。
各 GAN ノードは、以下の Algorithm 1 ような手順でデータセットの真の分布を近似するようなモデルの分布を学習することで、不連続なデータ分布をもつ複数のデータセットでもうまく学習出来るようにしている。
① ルートノード GN^(0) で、完全なデータセット D^(0) を学習し、完全なデータセットの分布の近似を得る。
② 子ノード GN^(i) で、完全なデータセット D^(0) を Mode-splitting procedure で部分的なデータセット D^(1),D^(2) に分割する。
※ Mode-splitting procedure : 完全なデータセットを、潜在空間で最も識別的になるようにサブデータセットに分割する処理
③ 同じ階層の左右の子ノードは、Bi-Modal Generative Adversarial Training (BiMGAT) で並列的に学習し、分割したデータセットの分布の近似とそこから得られる元の完全なデータセットの分布のさらなる近似を得る。
④ 以上の操作を繰り返し、完全なデータセットの分布の近似の精度を上げていく。
0. 論文情報・リンク
1. どんなもの?
2. 先行研究と比べてどこがすごいの?
3. 技術や手法の"キモ"はどこにある?
複数の異なるデータセットにおけるデータ分布の不連続性: 2つの異なるデータセットで GAN を学習させようとすると、上図のように、2つのデータセット間(赤色分布=データセット1、青色部分=データセット2)の部分で不連続性が生じるために、この境界領域における潜在変数 z に対する生成画像(ピンクの部分)はぼやけてしまう問題が存在する。
本手法では、各々のノードが GAN である Tree 構造をもつ階層的なアーキテクチャを構成することで、このような不連続なデータ分布をもつ複数のデータセットでもうまく学習出来るようにしている。
GAN-Tree GAN-Tree のアーキテクチャは、上図のように、各々が GAN であるノード GN^((i)) (i=1,2,...) の Tree 構造で構成される。 各 GAN ノードは、以下の Algorithm 1 ような手順でデータセットの真の分布を近似するようなモデルの分布を学習することで、不連続なデータ分布をもつ複数のデータセットでもうまく学習出来るようにしている。
① ルートノード GN^(0) で、完全なデータセット D^(0) を学習し、完全なデータセットの分布の近似を得る。 ② 子ノード GN^(i) で、完全なデータセット D^(0) を Mode-splitting procedure で部分的なデータセット D^(1),D^(2) に分割する。 ※ Mode-splitting procedure : 完全なデータセットを、潜在空間で最も識別的になるようにサブデータセットに分割する処理 ③ 同じ階層の左右の子ノードは、Bi-Modal Generative Adversarial Training (BiMGAT) で並列的に学習し、分割したデータセットの分布の近似とそこから得られる元の完全なデータセットの分布のさらなる近似を得る。 ④ 以上の操作を繰り返し、完全なデータセットの分布の近似の精度を上げていく。
Mode-splitting procedure Mode-splitting procedure は、完全なデータセットを、子ノードのために、潜在空間で最も識別的になるようにサブデータセットに分割する処理である。その具体的なアルゴリズムは、以下のようになる。
Bi-Modal Generative Adversarial Training (BiMGAT) xxx
Incremental GAN-Tree: iGANTree iGAN-Tree は、GAN-Tree を拡張したアルゴリズムで、その具体的なアルゴリズムは以下のようになる。(詳細説明略)
4. どうやって有効だと検証した?
複数データセット学習を、マルチモーダルにうまく学習できていることを定性的に検証している。
又、既存の手法と比較して、生成画像の品質や多様性等が優れていることを定量的に比較している。
5. 議論はあるか?
6. 次に読むべき論文はあるか?