[2009] Hilbert space embeddings and metrics on probability measures

[yoheikikuta]

論文リンク

https://arxiv.org/abs/0907.5309

公開日（yyyy/mm/dd）

2009/07/30

概要

確率測度のヒルベルト空間への埋め込みを議論している論文。 GANに関係する関数解析とかにも使えそうな知識が多そうなので、メモがてらに残しておく。

[yoheikikuta]

motivation が次元削減、均質性検定、独立性検定、などと書かれている。検定の方は正直あまり気持ちが分からない。

主役となるのは位相空間 (M,A) 上に定義される integral probability metric (IPM) である。

ここで P,Q は (M,A) 上のボレル確率測度の集合の元で、F は M 上で定義される有界可測関数のクラスである。これは擬距離になっている（異なる二点の距離が 0 となってもよい）。異なる確率測度で積分しても結果が同じになる、これは確かにありそうなケースだ。

[yoheikikuta]

この有界可測関数の代表的なものとして以下のものが挙げられている。

ここで total variation distance とか wasserstein distance とか出てきて、GAN やないか！という気持ちになる。少なくとも deep learning から入ってきた人はそう思わざるを得ないだろう。

[yoheikikuta]

ここで色々紹介しているが、背景としては F が再生核ヒルベルト空間 H での単位球に収まる（k は reproducing kernel r.k）

ものを考えるということでいくつかの嬉しい性質があるというのが明らかになってきた時期、という感じらしい。これは WGAN とかの理解にも繋がるかもしれないと思って、もう少し読んでみる。

[yoheikikuta]

嬉しさとして紹介されているもの。

• 他の F の選び方に比べると収束性がよい（特に空間の次元 d に依らない）
• 上のことと関連するが φ divergence (KL の log を一般の関数に拡張）と比べて収束性が良い
• kernel にのみ依存しているので、グラフなどを対象にする場合も便利

[yoheikikuta]

この論文での貢献は以下とのこと。

$ \gamma_k $ が metric になる（ $ \gamma h_k(P,Q) = 0 ↔ P=Q $）となる場合の RKHS を characteristic RKHS と呼ぶが、そうなるためにこれまで知られていた条件の代替の条件を発見した。

kernel k が与えられたとき、$ {\forall} \epsilon \ > \ 0 $ で $ \gamma_k(P,Q) \ < \ \epsilon $ を満足する P≠Q が存在することを示した。

metric 間の関係を調べ、$ \gamma_k $ が他のものよりも弱い（induce される topology が粗い）ということを示した。

[yoheikikuta]

ここまで読んでみて、既にわからないところがかなり出てきた。今の自分には難しいところも多く、かなりしっかりと読み込まないと理解できなそうに感じる。しかも式が頻発するので、issue に書いていくのも無謀な感じだ。

一旦 issue に書いていくのは諦めよう。今後何かアップデートがあったら追記する。