Open Yagami360 opened 5 years ago
【既存の手法の問題点】 フローベースの生成モデルにおけるヤコビアンの計算 フローベースの生成モデルの目的は、観測データ x を生成する確率分布 p_X(x) の対数尤度の最大化であるが、この対数尤度の計算には、以下の式のようにヤコビアンの計算が必要となる。 ※ 上式は、単一の写像 f での式。下式は、この写像 f の合成写像(フロー)での式。 ※ これら対数尤度の式の導出は、「生成モデル|フローベースの生成モデル」 の項目参照。
しかしながら、このヤコビアンの計算は、データの次元 D に応じて爆発的に増加するので、如何に少ない計算量で計算するかがフローベースの生成モデルにおける主要な課題の1つになっている。
【本手法の解決策】 coupling layer によるヤコビアン計算の軽減: 入力(=観測データ)x を2つののブロック に分けて、以下の図のようなカップリング層 [General coupling layer] で対応付けることを考える。 こうすることで、”カップリング層での” ヤコビアンの計算は、 のように、3角行列での行列式の計算になり、計算不可が大幅に軽減される。
更に、カップリング層として、特に加法カップリング層 [additive coupling layer] を考えると、
従って、対数尤度の式は、 というようにフロー z=f(x) の式で簡略化出来る。
Combining coupling layers xxx
ALLOWING RESCALING xxx
0. 論文情報・リンク
1. どんなもの?
2. 先行研究と比べてどこがすごいの?
3. 技術や手法の"キモ"はどこにある?
【既存の手法の問題点】 フローベースの生成モデルにおけるヤコビアンの計算 フローベースの生成モデルの目的は、観測データ x を生成する確率分布 p_X(x) の対数尤度の最大化であるが、この対数尤度の計算には、以下の式のようにヤコビアンの計算が必要となる。 ※ 上式は、単一の写像 f での式。下式は、この写像 f の合成写像(フロー)での式。 ※ これら対数尤度の式の導出は、「生成モデル|フローベースの生成モデル」 の項目参照。
しかしながら、このヤコビアンの計算は、データの次元 D に応じて爆発的に増加するので、如何に少ない計算量で計算するかがフローベースの生成モデルにおける主要な課題の1つになっている。
【本手法の解決策】 coupling layer によるヤコビアン計算の軽減: 入力(=観測データ)x を2つののブロック に分けて、以下の図のようなカップリング層 [General coupling layer] で対応付けることを考える。 こうすることで、”カップリング層での” ヤコビアンの計算は、 のように、3角行列での行列式の計算になり、計算不可が大幅に軽減される。
更に、カップリング層として、特に加法カップリング層 [additive coupling layer] を考えると、
従って、対数尤度の式は、 というようにフロー z=f(x) の式で簡略化出来る。
Combining coupling layers xxx
ALLOWING RESCALING xxx
4. どうやって有効だと検証した?
5. 議論はあるか?
6. 次に読むべき論文はあるか?