Open Yagami360 opened 5 years ago
i-ResNet [inverible ResNet](可逆な ResNet) 上図は、ResNet と 1-ResNet の可逆性の直感的なイメージ。 図中の線は、全単射 [bijective] の経路を示している。ResNet では、白丸で示した collapsing paths で全単射が縮約されてしまうので、可逆な変換(入力↔出力)が行えない。
リプシッツ定数の制限と ResNet の逆変換の存在性 不動点定理より、縮小写像に対しては不動点が存在するとい事実がある。 ResNet を写像 とみなし、リプシッツ定数 Lip(g)< 1 のときを考えると、これは縮小写像になるので、不動点定理より不動点が存在する。 このことより、リプシッツ定数 Lip(g)< 1 のとき、ResNet の逆変換が存在することが示される?(途中の詳細略)
リプシッツ定数の制限の満たし方 上記よりリプシッツ定数 Lip(g)< 1 のとき、ResNet の逆変換が存在するのであるが、具体的に、この Lip(g)< 1 の制限を与える条件は、以下の式のようになる。(途中の詳細略)
そして、 とするには、この W に対して以下のような正規化処理を行えば良い。(途中の詳細略)
フローベースの生成モデルへの i-ResNet の適用 フローベースの生成モデルの目的は、観測データ x を生成する確率分布 p_x (x) の対数尤度の最大化であるが、この対数尤度の計算には、以下の式のようにヤコビアン det |J| の計算が必要となる。 従って、i-ResNet をこのモデルに適用するには、ヤコビアンを如何に計算するかが問題となる。 結論のみ述べると、リプシッツ定数 Lip(g)< 1 の制限により、上式は以下のような式で置き換えられる。 この式に従って計算すれば、フローベースの生成モデルの目的である観測データ x を生成する確率分布の対数尤度が理論的には得られる。 ※ 但し、無限級数の計算が必要になっていることに注意
0. 論文情報・リンク
1. どんなもの?
2. 先行研究と比べてどこがすごいの?
3. 技術や手法の"キモ"はどこにある?
i-ResNet [inverible ResNet](可逆な ResNet) 上図は、ResNet と 1-ResNet の可逆性の直感的なイメージ。 図中の線は、全単射 [bijective] の経路を示している。ResNet では、白丸で示した collapsing paths で全単射が縮約されてしまうので、可逆な変換(入力↔出力)が行えない。
リプシッツ定数の制限と ResNet の逆変換の存在性 不動点定理より、縮小写像に対しては不動点が存在するとい事実がある。 ResNet を写像 とみなし、リプシッツ定数 Lip(g)< 1 のときを考えると、これは縮小写像になるので、不動点定理より不動点が存在する。 このことより、リプシッツ定数 Lip(g)< 1 のとき、ResNet の逆変換が存在することが示される?(途中の詳細略)
リプシッツ定数の制限の満たし方 上記よりリプシッツ定数 Lip(g)< 1 のとき、ResNet の逆変換が存在するのであるが、具体的に、この Lip(g)< 1 の制限を与える条件は、以下の式のようになる。(途中の詳細略)
そして、 とするには、この W に対して以下のような正規化処理を行えば良い。(途中の詳細略)
フローベースの生成モデルへの i-ResNet の適用 フローベースの生成モデルの目的は、観測データ x を生成する確率分布 p_x (x) の対数尤度の最大化であるが、この対数尤度の計算には、以下の式のようにヤコビアン det |J| の計算が必要となる。 従って、i-ResNet をこのモデルに適用するには、ヤコビアンを如何に計算するかが問題となる。 結論のみ述べると、リプシッツ定数 Lip(g)< 1 の制限により、上式は以下のような式で置き換えられる。 この式に従って計算すれば、フローベースの生成モデルの目的である観測データ x を生成する確率分布の対数尤度が理論的には得られる。 ※ 但し、無限級数の計算が必要になっていることに注意
4. どうやって有効だと検証した?
5. 議論はあるか?
6. 次に読むべき論文はあるか?