Open Yagami360 opened 5 years ago
Neural-ODE の解空間をより高次元に拡張することで、従来の Neural-ODE では表現できなかった線形分離不可能な関数も表現可能とし、更に学習の安定性や計算効率も向上させた Augmented Neural ODEs を提案している。
既存の Neural-ODE の問題点
Neural-ODE の定式化 Neural ODE が解く初期値問題は、以下のような初期値問題である。 ※ 詳細は「【論文まとめ】[Neural-ODE] Neural Ordinary Differential Equations」 参照
Neural-ODE が表現できない関数 ① 1次元の場合 出力層が出力する関数 g(x) として、以下のような関数を考える。
損失関数の収束性 Neural-ODE では、上記のような線形分離不可能な関数 g(x) をうまく表現することが出来ないことを実験的に確認するために、Neural-ODE と(その離散化バージョンである)ResNet における loss 値の変化を比較すると、以下の図のようになる。
Neural-ODE の ODE-Solver での計算コスト
Augmented Neural ODEs での解決法 先の Neural ODEs では表現できない関数 g(x) は、その次元での空間上では線形分離できない関数となっていたが、より高次元での空間上では線形分離できる関数となっていた。 従って、Augmented Neural ODEs では、上記のような問題を解決するために、Neural ODE における解空間を へ拡張することを考え、以下のような初期値問題を考える。
損失関数の収束性向上から、学習可能性や学習の効率的向上を実験的に検証している。
ODE-Solver の解の軌道から、学習の効率性向上を実験的に検証している。
ODE-Solver における最適化のための評価回数から、計算効率が向上していることを実験的に検証している。
学習済みのモデルでの写像後の値の分布や学習用データセットと検証用データセットの loss 値の変化から、汎化性能が向上していることを実験的に検証している。
0. 論文情報・リンク
1. どんなもの?
Neural-ODE の解空間をより高次元に拡張することで、従来の Neural-ODE では表現できなかった線形分離不可能な関数も表現可能とし、更に学習の安定性や計算効率も向上させた Augmented Neural ODEs を提案している。
2. 先行研究と比べてどこがすごいの?
3. 技術や手法の"キモ"はどこにある?
既存の Neural-ODE の問題点
Neural-ODE の定式化 Neural ODE が解く初期値問題は、以下のような初期値問題である。 ※ 詳細は「【論文まとめ】[Neural-ODE] Neural Ordinary Differential Equations」 参照
Neural-ODE が表現できない関数 ① 1次元の場合 出力層が出力する関数 g(x) として、以下のような関数を考える。
損失関数の収束性 Neural-ODE では、上記のような線形分離不可能な関数 g(x) をうまく表現することが出来ないことを実験的に確認するために、Neural-ODE と(その離散化バージョンである)ResNet における loss 値の変化を比較すると、以下の図のようになる。
Neural-ODE の ODE-Solver での計算コスト
Augmented Neural ODEs での解決法 先の Neural ODEs では表現できない関数 g(x) は、その次元での空間上では線形分離できない関数となっていたが、より高次元での空間上では線形分離できる関数となっていた。 従って、Augmented Neural ODEs では、上記のような問題を解決するために、Neural ODE における解空間を へ拡張することを考え、以下のような初期値問題を考える。
4. どうやって有効だと検証した?
損失関数の収束性向上から、学習可能性や学習の効率的向上を実験的に検証している。
ODE-Solver の解の軌道から、学習の効率性向上を実験的に検証している。
ODE-Solver における最適化のための評価回数から、計算効率が向上していることを実験的に検証している。
学習済みのモデルでの写像後の値の分布や学習用データセットと検証用データセットの loss 値の変化から、汎化性能が向上していることを実験的に検証している。
5. 議論はあるか?
6. 次に読むべき論文はあるか?
7. 参考文献