Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks

[tm4roon]

Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks

Meta-learningとは、学習方法を学習するアルゴリズムの一種。「少しのデータ・学習ステップの後、すぐに新しいタスクに適応できるモデル」を学習するこを目標としている。本論文で提案しているModel-Agnostic Meta-Learning (MAML)では、様々なタスクTからデータをサンプリングし、モデルを学習する。そののちに、学習したパラメータと評価データを利用してモデルの初期パラメータを更新する。これを繰り返すことにより、「少しの勾配法の学習ステップで、損失関数に関して大きく性能を改善できるようなモデルのパラメータ」を探索する。MAMLの特徴としては、モデルの構造やタスク(分類, 回帰, 強化学習, ...)に依らず適用でき、汎用性の高い方法である点が挙げられる。

本論文では、様々なタスクで有効性を検証しており、下図からも事前学習よりも速く学習が収束し、なおかつ高い性能を実現していることが分かる。

文献情報

• 著者: Chelsea Finn, Pieter Abbeel, Sergey Levine
• リンク: https://arxiv.org/abs/1703.03400
• 学会: ICML2017

参考文献

• [論文解説] MAML: Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks
• メタ学習：学習の仕方を学習する、MAMLやNeural Process
• From zero to research — An introduction to Meta-learning
• メタ学習（meta-learning）の紹介：Regression版で今年の東京の気温を当ててみました～

[tm4roon]

関連

On First-Order Meta-Learning Algorithms