The Hessian Penalty: A Weak Prior for Unsupervised Disentanglement

William Peebles, John Peebles, Jun-Yan Zhu, Alexei Efros, Antonio Torralba

2020-08-24

1. どんなもの？

先行研究では、潜在変数のある因子の変化が、他の因子と完全に独立しているDisentanglementな潜在表現を獲得するために、特定のモデルを使用したり、データセット中に内包される変数を捉えようとしていた。

本研究では、数行で実装可能でありながらも、モデルに依存せず、追加のネットワークを必要としない新たな手法 Hessian Penalty を提案している。

状況設定としては、Generatorに入力させる潜在変数zがあるとする。この潜在変数zのある要素のみを変化させた際に、潜在変数zの他の要素に依存しないように、Generatorの出力が変化することが期待される。

Generatorの潜在変数に対するヘッセ行列をHとする。このヘッセ行列の非対角要素の値が0に近いとはどういうことなのかを考える。

Generatorの出力に対して潜在変数ziに対する微分を計算することで、潜在変数をi方向に変動させた際の出力画像の変化を計算することができる。ここでj方向の微分を0にすることで、これらの変動が独立して出力に影響を与えると捉えることができる。

本研究ではこの考え方を応用し、出力されたスカラー値に対して潜在変数の次元に対応する2次微分を最小化する、つまりヘッセ行列が対角行列になるように最適化を行っていく。

画像生成を行うGeneratorを考えると、出力されるのはスカラー値ではなく、画像のようなベクトル値になるため、上記のヘッセ行列の式を適用することができない。

そこで画像のピクセル1つ1つに対してヘッセ行列に対する損失値を計算していく。その際に、本研究では最大値や平均値を採用している。