Encoder :
ニューラルネットワーク h を利用して観測データのペアを特徴ベクトル r_i に encode する。
Aggregator :
encode した各特徴ベクトル r_i (i=1,2,…) を1つの固定次元の特徴ベクトル r に集約する。(例:平均化)
この集約された特徴ベクトル r は、global latent variable z が従うガウス分布の平均値 μ と分散値 σ を計算するためのパラメーターとして使用される。
Decoder :
ガウス分布からサンプリングされた global latent variable z を入力として、ニューラルネットワーク g でパラメーター を推定し、 そのパラメーター で出力データ y を推定する。
特に回帰タスクでは、ガウス分布のパラメーター(平均値+分散値)を推定し、そのパラメーターで出力データを推定する。(平均値を回帰結果。分散値を回帰結果の信頼度とする)
※ ニューラルネットワーク g で出力データ y を直接推定するのではなくて、パラメーター を推定し、そのパラメーターで出力データを推定していることに注目。
このアーキテクチャにより、学習用データ数 n + テスト用データ数 m に対しての計算オーダーは、 の計算オーダーで計算することができる。
※ ガウス過程での計算オーダーは、
入力データの各特徴量を1つの特徴量にまとめた特徴量からガウス分布の平均値と分散値を計算し、その平均値と分散値を持つガウス分布から潜在変数(global latent variable)を得るが、このガウス分布からサンプリングされた潜在変数というのは、今考えている教師あり学習タスクの目的である推定問題 f : X → Y におけるグローバルな情報を含んでおり、またランダム性を含んでいるので、この潜在変数を組み込むことでモデルにグローバルな不確実性をもたせ、同じ入力データに対しても様々な近似関数を出力することを可能にしているという点がポイント。
0. 論文情報・リンク
1. どんなもの?
2. 先行研究と比べてどこがすごいの?
3. 技術や手法の"キモ"はどこにある?
Global latent variable の追加(Conditional Neural Processes からの変更点)
アーキテクチャの主要コンポーネント(Conditional Neural Processes と同様) Neural Processes のアーキテクチャは、CNP と同様にして、以下の3つの主要コンポーネントから構成される。
Encoder : ニューラルネットワーク h を利用して観測データのペアを特徴ベクトル r_i に encode する。
Aggregator : encode した各特徴ベクトル r_i (i=1,2,…) を1つの固定次元の特徴ベクトル r に集約する。(例:平均化) この集約された特徴ベクトル r は、global latent variable z が従うガウス分布の平均値 μ と分散値 σ を計算するためのパラメーターとして使用される。
Decoder : ガウス分布からサンプリングされた global latent variable z を入力として、ニューラルネットワーク g でパラメーター を推定し、 そのパラメーター で出力データ y を推定する。 特に回帰タスクでは、ガウス分布のパラメーター(平均値+分散値)を推定し、そのパラメーターで出力データを推定する。(平均値を回帰結果。分散値を回帰結果の信頼度とする) ※ ニューラルネットワーク g で出力データ y を直接推定するのではなくて、パラメーター を推定し、そのパラメーターで出力データを推定していることに注目。
このアーキテクチャにより、学習用データ数 n + テスト用データ数 m に対しての計算オーダーは、 の計算オーダーで計算することができる。 ※ ガウス過程での計算オーダーは、
4. どうやって有効だと検証した?
1次元の関数回帰タスクで、Neural Processes の性能を検証している。
画像を回帰するタスクで、Neural Processes の性能を検証している。
5. 議論はあるか?
6. 次に読むべき論文はあるか?
7. 参考文献