Open Yagami360 opened 5 years ago
VQ-VAE のアーキテクチャ VQ-VAE は上図のように、VAE をベースとするアーキテクチャとなっているが、新たに埋め込み空間の構造とそれを元にした潜在変数のベクトル量子化処理が追加されており、具体的には、以下のような手順で処理が行われる。
上図はこれらの処理により、潜在変数 z_e (x), z_q (x) が埋め込みベクトル e_k の最近傍に写像されていることを図示している。(言い換えると、埋め込みベクトルと同じ値になるように潜在変数をベクトル量子化している。) 又、VQ-VAE の学習は損失関数 L によって行われるが、学習段階で反映される損失関数の勾配 ∇L が、別のカテゴリでの埋め込みベクトルの位置へ潜在変数 z_e (x) を移動させる効果を持つことを図示している。
VQ-VAE の損失関数: VQ-VAE 全体の損失関数は、以下のように定義される。
0. 論文情報・リンク
1. どんなもの?
2. 先行研究と比べてどこがすごいの?
3. 技術や手法の"キモ"はどこにある?
VQ-VAE のアーキテクチャ VQ-VAE は上図のように、VAE をベースとするアーキテクチャとなっているが、新たに埋め込み空間の構造とそれを元にした潜在変数のベクトル量子化処理が追加されており、具体的には、以下のような手順で処理が行われる。
上図はこれらの処理により、潜在変数 z_e (x), z_q (x) が埋め込みベクトル e_k の最近傍に写像されていることを図示している。(言い換えると、埋め込みベクトルと同じ値になるように潜在変数をベクトル量子化している。) 又、VQ-VAE の学習は損失関数 L によって行われるが、学習段階で反映される損失関数の勾配 ∇L が、別のカテゴリでの埋め込みベクトルの位置へ潜在変数 z_e (x) を移動させる効果を持つことを図示している。
VQ-VAE の損失関数: VQ-VAE 全体の損失関数は、以下のように定義される。
4. どうやって有効だと検証した?
5. 議論はあるか?
6. 次に読むべき論文はあるか?