Dual Contrastive Loss and Attention for GANs

[e4exp]

• https://arxiv.org/abs/2103.16748
• 2021

Generative Adversarial Networks (GAN)は、大規模な画像データセットを用いて無条件に画像を生成する際に素晴らしい結果を出す。 しかし、生成された画像は、特に分散性の高いデータセット（寝室や教会など）では、まだ見分けがつきにくい。 本論文では、画像生成の限界をさらに押し広げるために、様々な改良を提案する。 具体的には、新しい dual contrastive loss を提案し、この loss を用いることで、discriminator がより一般化された識別可能な表現を学習し、画像生成の動機付けとなることを示す。 さらに、注意についても再検討し、生成器の中でさまざまな注意ブロックを使って広範囲に実験を行いました。 最近の最新モデルでは使われていなかったが、注意は画像生成を成功させるための重要なモジュールであることがわかった。 最後に、識別器における異なるアテンション・アーキテクチャを研究し、参照アテンション・メカニズムを提案する。 これらの改善策の長所を組み合わせることで、いくつかのベンチマークデータセットにおいて、説得力のある最先端のフレシェ・インセプション距離（FID）を少なくとも17.5%改善した。 組立式合成シーンでは、さらに大幅な改善が得られた（FIDで最大47.5％）。

[e4exp]

[e4exp]

5. 結論

注意スキームと対照的な学習の進歩は、GANの新しいデザインの機会を生み出す。 我々の注意スキームは、生成と識別器の表現に長距離適応依存性を持たせるために、局所的および定常的な畳み込みの有益な代替として機能する。 特に、我々の参照注意識別器は、実際の参照画像と主画像の間で協力し、識別器のオーバーフィッティングを軽減し、限られた規模のデータセットでのさらなる向上につながる。 さらに、我々の新しいコントラスト損失は、識別器の表現を一般化し、本物と偽物をより区別できるようにし、結果的に生成品質を向上させる動機付けとなる。