Open Yagami360 opened 4 years ago
Spatial Transformer のアーキテクチャの全体像
Localisation Network 入力画像の特徴マップ U から特徴マップを変換するための変換パラメータ θ(アフィン変換等のパラメータ)を生成するネットワーク。 ※ 入力画像の特徴マップを変換するのは、傾いた入力画像などの空間不変性を実現するため。
ネットワーク内部のアーキテクチャは、全結合ネットワークなどの任意のアーキテクチャが使用可能であるが、最後の出力層は、変換パラメータ θ を出力するような構造をしている必要がある。
Grid generator (Parameterised Sampling Grid)
Differentiable Image Sampling Sampler では、先のアフィン変換等の変換で求めた入力特徴マップ U からの各点 (=サンプリンググリッド)を中心にサンプリングカーネルを適用し、入力特徴マップ U と掛け合わせることで、変換後の特徴マップ V を計算する。
このサンプリング式をサンプリングカーネル関数で一般化した式は、以下のような式のようになる。
0. 論文情報・リンク
1. どんなもの?
2. 先行研究と比べてどこがすごいの?
3. 技術や手法の"キモ"はどこにある?
Spatial Transformer のアーキテクチャの全体像
Localisation Network 入力画像の特徴マップ U から特徴マップを変換するための変換パラメータ θ(アフィン変換等のパラメータ)を生成するネットワーク。 ※ 入力画像の特徴マップを変換するのは、傾いた入力画像などの空間不変性を実現するため。
ネットワーク内部のアーキテクチャは、全結合ネットワークなどの任意のアーキテクチャが使用可能であるが、最後の出力層は、変換パラメータ θ を出力するような構造をしている必要がある。
Grid generator (Parameterised Sampling Grid)
Differentiable Image Sampling Sampler では、先のアフィン変換等の変換で求めた入力特徴マップ U からの各点(=サンプリンググリッド)を中心にサンプリングカーネルを適用し、入力特徴マップ U と掛け合わせることで、変換後の特徴マップ V を計算する。
このサンプリング式をサンプリングカーネル関数で一般化した式は、以下のような式のようになる。
4. どうやって有効だと検証した?
5. 議論はあるか?
6. 次に読むべき論文はあるか?
7. 参考文献