Open Yagami360 opened 5 years ago
下図のように、再構成経路 [reconstructive path] と生成経路 [generative path] 呼ばれる2つのVAEベースのネットワークに対して、欠けた領域を持つマスク画像とその反転画像を入力し、元の画像を復元するようにする。更に、各々のVAEベースのネットワークの後段に追加した識別器で、GANにおける敵対的学習を行うことで、復元画像が元の画像に近づくように学習する。また SAGAN のように、畳み込み時のアテンション構造を導入することで、生成画像の品質を向上させる工夫も行っている。
Pluralistic-Inpainting の新規性である復元画像の多様性は、この再構成経路と生成経路の内部のネットワークとして確率的なモデルであるVAEを採用し、尚且、入出力が一意な inpainting タスクにおいてVAE が局所解に陥って多様性が消失されるケースへの対策を織り込んだ損失関数(KLダイバージェンスで定義される)を採用していることよるものである。
0. 論文情報・リンク
1. どんなもの?
2. 先行研究と比べてどこがすごいの?
3. 技術や手法の"キモ"はどこにある?
下図のように、再構成経路 [reconstructive path] と生成経路 [generative path] 呼ばれる2つのVAEベースのネットワークに対して、欠けた領域を持つマスク画像とその反転画像を入力し、元の画像を復元するようにする。更に、各々のVAEベースのネットワークの後段に追加した識別器で、GANにおける敵対的学習を行うことで、復元画像が元の画像に近づくように学習する。また SAGAN のように、畳み込み時のアテンション構造を導入することで、生成画像の品質を向上させる工夫も行っている。
Pluralistic-Inpainting の新規性である復元画像の多様性は、この再構成経路と生成経路の内部のネットワークとして確率的なモデルであるVAEを採用し、尚且、入出力が一意な inpainting タスクにおいてVAE が局所解に陥って多様性が消失されるケースへの対策を織り込んだ損失関数(KLダイバージェンスで定義される)を採用していることよるものである。
4. どうやって有効だと検証した?
5. 議論はあるか?
6. 次に読むべき論文はあるか?