Meta-learning representations for clustering with infinite Gaussian mixture models

[takutak]

クラスタリングは、適切な特徴量を採用することが性能に直結する。NNでクラスタリングを行う場合、NNは元データの空間から表現空間への写像として用いられた。NNによって、表現空間へデータを写し、この表現空間内でクラスタリングを実行する。既存手法は、このように距離学習とクラスタリングを別個に実行するため、得られた表現がクラスタリング手法に適していない可能性があった。

この研究ではメタ学習により、NNが直接的に期待クラスタリング性能を向上させるように学習を行う。

• 訓練フェーズ：ラベルつきデータを使用
• テストフェーズ；未知のカテゴリのラベルなしデータが与えられる。 このテストフェーズにおける性能の向上を目的に学習が行われる。 クラスターの検索は、変分推論に基づいた、無限混合ガウスモデル(GMM)のフィッティングにより行う。

Contribution

1. クラスタリング性能を直接改善する表現を学習するメタ学習手法を提案
2. ニューラルネットワークの学習のため、変分推論による新しい誤差の逆伝播
3. ARIの連続近似
4. 実験的に性能を評価

記号

• $D = [Dt ]{t=1}^T$
• ここで$Dt = [(x{tn}, y{tn})]{n=1}^{N_t}$はラベルつきデータ
• $x_{tn}$は、n番目の要素のデータ
• $y{tn}$は、n番目の要素の属するカテゴリー($y{tn}\in (1,2,..K_t)$)
• $X = (X_{n})_{n=1}^{N*}$はラベルのないデータ

モデルの説明

• 入力：ラベル無しデータ $X=(Xn){n=1}^{N}$
• 出力；ソフトクラスタ割り当て$R=(rn){n=1}^N$ ここで、$rn = (r{nk}){k=1}^{K'}$であり、$r{nk}$は、n番目の要素がk番目のクラスターに割り当てられる確率

[takutak]

モデル（元データから表現空間への写像機構）は次のようになる。

1. まず、各データはニューラルネットワーク $f_Z$によって、s次元の表現空間へエンコードされる。
2. 全てのラベルなしデータXの情報を含むタスク表現uを計算する。具体的にはDeepSetsのpermutation invariantな変換を行う。二つのニューラルネットワーク $f_U,g_U$を用いて以下のように実現する。 $$u=gU(\frac{1}{N} \sum{n=1}^N f_U(z_n))$$
3. 初期クラスター割り当てを次の式で計算 $$log r_n \propto f_R([x_n, u])$$
4. クラスタ割り当てを、無限混合ガウスモデルへのフィッティングの形で、変分ベイズ推論により更新する。

[takutak]

無限混合ガウスモデルに関しては、次のような生成過程を仮定する。（棒折り過程）

1. 各クラスター$k=1,2...$に対して (a). $\eta_k \sim Beta(1,\alpha)$ によって、stick proportionを生成(つまり、残った棒を、$\eta_k:1-\eta_k$の位置で割る) (b). 混合比を$\pi_k =\etak \prod{k'=1}^{k-1}(1-\eta_{k'})$ (c). 各クラスタの平均と精度を、それぞれガウス分布、ガンマ分布から生成
2. 各要素$n=1,2,...N$に対して (a). クラスタの割り当てを決定 $v_n \sim Categorical(\pi)$ (b). 各要素の表現を生成 $zn =\mathcal{N}(\mu{vn}, \beta{v_n}^{-1})$

[takutak]

無限混合ガウスモデルの下で、尤度は次のように表現される。 $$p(X) = \int d\eta \int dM \int d\beta \sum{k=1}^{\infty} p(X,k|\eta, M, \beta) p(\eta, M, \beta)$$ これは次の様に展開できる。 $$p(X) = \int d\eta \int dM \int d\beta p(\eta)p(M)p(\beta)\times\prod{n=1}^N\left(\sum_{k=1}^{\infty} p(k|\eta)p(x_n|\mu_k, \beta_k^{-1}I) \right)$$