【2018】StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation

ざっくり言うと

従来のStyle Transfer GANは一つのドメイン（グループ）から違うもう一つのドメインの変換はできた。この変換は一対一対応であり、複数のドメイン間でStyle Transferを行おうとすると、多くのAIが必要になる。 starGANはその問題を解決したモデル。様々なドメインから、違うドメインにstyle transferを一つのAIで行えるAI

キーワード

Face synthesize, GAN

1. 情報

論文リンク

https://arxiv.org/abs/1711.09020

著者

Yunjey Choi

投稿日付

24 Nov 2017

2. 先行研究と比べてどこがすごい？

従来のモデル（Cycle GAN, ACGAN）はドメインが一対一対応している。つまりinputとoutputに複数のドメインを含ませることができなかった。StarGAnではその問題が解決。

3. 技術や手法のキモはどこ？

total loss関数を3つのloss 関数の重ね合わせで構成 adversarial loss : generatorが作成した画像が本物かどうか見分けるloss domein classification loss : 画像がどのドメインに属しているのかしめすloss reconstraction loss : input画像の情報を残すためのloss

このようにloss 関数を構築することで複数ドメインでも扱えるAIを構築した。

4. どうやって有効だと検証した？

顔画像と感情のラベル付けされているdata set(RaFD), 有名人の顔画像のdataset(CelebA)を用いてinput画像の特徴（表情、性別、髪色、年齢）を変化させるGANを構築。

GANで構築された画像はAmazon mechanical tulkに高評価を受けた。また、表情を認識するAIを構築し、GANで生成した顔画像の表情分類する。すると従来のGANより良い結果となった。

karakuri-ai / paper-readings