yoheikikuta
commented
5 years ago 問題意識を理解するために例を考える。
音声波形から何かしら意味のある情報へと非可逆圧縮することを考えてみる。 何かしら意味のあるというのをここでは人間が意味を知覚するのに必要な分の情報、ということにしてみる。抽象的で少し分かりにくいが、ナイーブに考えてもただの音声波形には人間の意味の知覚に関係ない情報も含まれているので音声波形の有するエントロピーの方が大きい。
この非可逆圧縮はどうやるか？
これはとても難しくて、我々は音声波形から意味を知覚するにあたりその原理を全て理解しているわけではないので、こうすれば良いという方法を知っているわけではない。これはつまりどう情報を非可逆圧縮するかの exact な解は持ち合わせていないことを意味して、すなわち feature selection をどうするかには任意性が生ぜざるを得ないことを意味している。
これだけだと経験と勘からえいやと手で決めるしかない感じがするが、一つの改善の方向性として何が意味ある情報かというのを判断するための別の情報を使うというものである。 例えばある音声波形が "Hello" という単語を発したものであると分かっていれば、この情報を表すのに不必要な情報は圧縮してしまってよいと分かる。もちろんこれでもどうやればいいかというのは分からないが、先ほどと比べればやりやすくなっているようには思える。
形式的にこれを書くと、X は波形、$ \tilde{X} $ は圧縮した何かしらの特徴量、Y は波形が表す単語として、$ \tilde{X} $ をどう決めるのかは依然として難しいけれども、 $ \tilde{X} \rightarrow Y $ は情報として復元できるような圧縮の仕方をしよう、ということになる。
この論文ではこの辺りの話を相互情報量などを用いて議論していくことになる。
論文リンク
https://arxiv.org/abs/physics/0004057
公開日（yyyy/mm/dd）
2000/04/24
概要
確率変数で $ X -> \tilde{X} $ という非可逆圧縮を考える。 rate-distortion theory とは、distortion function $ d(x, \tilde{x}) $ （これは要素が等しくない時に何かしらの正の値を取って歪みを表現する）を用いて、$ I(X; \tilde{X}) + β <d(x,\tilde{x})> $ を最小化するという問題設定である。 これは変分法により解析的な形で $ p(\tilde{x}|x) $ を導出することができ、またそれを求めていくための iterative な解法も知られている（Blahut-Arimoto algorithm）。 しかしこれは適切な distortion funciton を選ぶことが必要で、その選び方自体は何の指針もない。この論文では $ Y \rightarrow X \rightarrow \tilde{X} $ という X に対して relevant な情報を有する Y も導入することにして（これは例えば教師あり学習において X がデータで Y がラベル）、この Y を介することで圧縮の指針を与えるということを提案している。言葉だけで言うならば、 $ X \rightarrow \tilde{X} $ という圧縮において $ Y \rightarrow X $ で X を生み出すのに relevant な情報を残すように圧縮するというものである。 この指針により自然と最適化対象として $ I(X;\tilde{X}) + β <D[p(y|x)||p(x|\tilde{x})]> $ という KL divergence が現れるようになっている。嬉しいことに、これも同様に変分法で解析的な self-consistent な解を導出し、iterative にそれを求める方法が存在することが証明される。 bottleneck という名前は、$ \tilde{X} $ は X よりも要素数が少ない codeword になっているが、その限られた要素を使って $ Y \rightarrow X $ における情報を保ちつつ $ X \rightarrow \tilde{X} $ における情報を圧縮する、というところからきている。もっと有り体に言えば bottleneck というのは $ \tilde{X} $ のうち X の Y に関する情報をまとめたものである。