Open Yagami360 opened 5 years ago
従来の機械学習手法の多くは、予めモデルを定めてそのモデルのパラメーターを学習するというフレームワークになっているが、この方法では多量の学習用データが必要となるという問題が存在する。 一方、メタ学習と呼ばれる手法では、モデルのパラメーターのみではなく学習規則などのより高レベルのフレームワーク自体も学習する。これにより、少数の学習用データでうまく学習できるようになるメリットがある。但し、このようなメタ学習の手法では、学習に必要なパラメーター数が拡張されてしまい、計算コストは高くなるという問題がある。
本手法(MAML)では、このようなメタ学習における問題を解決するために、機械学習の学習で一般的に用いられる確率的勾配法を採用している。機械学習の学習で一般的に用いられる勾配法で学習しているので、様々なモデルやタスク(回帰問題、分類問題、方策勾配の強化学習等)に適用可能であり、又、共通の内部表現が得られるので、新しいタスクにおいても素早いメタ学習が可能となる。
メタ学習の問題設定 各種機械学習タスクは、以下の式のように、観測データや出力データや損失関数などに依存した関数で定義できる。
アルゴリズム
0. 論文情報・リンク
1. どんなもの?
2. 先行研究と比べてどこがすごいの?
従来の機械学習手法の多くは、予めモデルを定めてそのモデルのパラメーターを学習するというフレームワークになっているが、この方法では多量の学習用データが必要となるという問題が存在する。 一方、メタ学習と呼ばれる手法では、モデルのパラメーターのみではなく学習規則などのより高レベルのフレームワーク自体も学習する。これにより、少数の学習用データでうまく学習できるようになるメリットがある。但し、このようなメタ学習の手法では、学習に必要なパラメーター数が拡張されてしまい、計算コストは高くなるという問題がある。
本手法(MAML)では、このようなメタ学習における問題を解決するために、機械学習の学習で一般的に用いられる確率的勾配法を採用している。機械学習の学習で一般的に用いられる勾配法で学習しているので、様々なモデルやタスク(回帰問題、分類問題、方策勾配の強化学習等)に適用可能であり、又、共通の内部表現が得られるので、新しいタスクにおいても素早いメタ学習が可能となる。
3. 技術や手法の"キモ"はどこにある?
メタ学習の問題設定 各種機械学習タスクは、以下の式のように、観測データや出力データや損失関数などに依存した関数で定義できる。
アルゴリズム
4. どうやって有効だと検証した?
5. 議論はあるか?
6. 次に読むべき論文はあるか?
7. 参考文献