GAN Slimming: All-in-One GAN Compression by A Unified Optimization Framework

Haotao Wang, Shupeng Gui, Haichuan Yang Ji Liu, Zhangyang Wang

1. どんなもの？

GANで、他の深層学習モデルと同様に多大な計算コストを要する。実際に写真をアニメ風な画像に変換するCartoonGANでは、解像度が256x256の場合に56GFlops以上の演算が必要になる。

こうしたGANのモデルを軽量化するために、様々な圧縮手法が提案されている。しかし学習が不安定であるGANに対して、クラス分類タスクなどで使用されている圧縮手法を、1つだけ適用しても、モデルの性能は悪化してしまうことが判明している。

また複数の圧縮手法を適用するとさらに性能が悪化すると考えられているが、本当に複数の圧縮手法をGANに適用することが可能なのか、GANにおける学習の不安定性を克服することができるのか、は判明していない。

本研究ではGANに蒸留・枝刈り・量子化という複数の圧縮手法を適用する手法としてGAN Slimming (GS) を提案している。

元のGANモデルをG0、圧縮した後のモデルをGとした場合に、蒸留では先行研究と同様に、生徒モデルである圧縮モデルが教師モデルである元のモデルの挙動を模倣するように学習させていく。

そこで、同一の入力に対する各モデルの挙動を距離関数が最小になるように最適化を行っていく。

ではどのように生徒モデルの構造を決めればいいのかを考える。