Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks

[TMats]

https://arxiv.org/abs/1703.03400

• Chelsea Finn, Pieter Abbeel, Sergey Levine
• Submitted on 9 Mar 2017 (v1), last revised 18 Jul 2017 (this version, v3)

[TMats]

MAML

NIPSのRL workshopで紹介された

• https://www.dropbox.com/s/fdw7q8mx3x4wr0c/2017_12_xx_NIPS-keynote-final.pdf

site(動画あり)

• https://sites.google.com/view/maml

github

• RL https://github.com/cbfinn/maml_rl
• SL https://github.com/cbfinn/maml

arXivetimes

• https://github.com/arXivTimes/arXivTimes/issues/513

DL輪読会

• Meta-Learningのまとめ
  • https://www.slideshare.net/DeepLearningJP2016/dlcontinuous-adaptation-via-metalearning-in-nonstationary-and-competitive-environments-82814069
• ドメイン汎化・meta-learning
  • https://www.slideshare.net/DeepLearningJP2016/dllearning-to-generalize-metalearning-for-domain-generalization?ref=http://deeplearning.jp/learning-to-generalize-meta-learning-for-domain-generalization/

[TMats]

1. どんなもの？

• 勾配降下法に基づくモデルに関して適用可能なめた学習手法の提案．
• あるタスク集合においてFine Tuninigすると良い値に行くような初期値を学習する

2. 先行研究と比べてどこがすごい？

• 基本的にどんなモデルでも利用できるmeta-learning手法を提案
  • 既存手法は全てのデータセットを取り込んだRNNや特徴量の埋め込みを行なっていた
  • 提案手法はモデルの形式を指定しない

3. 技術や手法のキモはどこ？

• タスクに関して敏感なモデルパラメータを見つけることを目指す

  • タスク(=loss)が変わったときに，小さなパラメータの変化が大きな改善を生むようなパラメータを探す

• 動的システム的にいうと，学習プロセスは新しいタスクの損失関数の感度を最大化することとみなせる

• アルゴリズム

  

4. どうやって有効だと検証した？

• 回帰

  • 正弦波をデータセットとして利用
  • pretrainedなモデルと比較，pretrainedなモデルは訓練時のタスクに過学習

• 分類

  • OmniglotとMiniImagenetをデータセットとして利用
  • meta-learnerの勾配を求めるためには損失関数のHessianが必要
  • 勾配を1次近似しても精度がほとんど変わらないことを確認
  • 計算の高速化

• RL

  • 2DnavigationとLocomotion
  • タスクに関する学習則はREINFORCE，meta-learnerはTRPO
  • MAMLによる初期化はrandom initializationやpretrainingよりも良い
  • Locomotionではpretrainingはrandom initializationよりも精度が悪くなり得ることが知られている

5. 議論はある？

6. 次に読むべき論文は？

MAMLをベースにしたmeta-learning

• Continuous Adaptation via Meta-Learning in Nonstationary and Competitive Environments #194

7. メモ

• SLとRLのタスクを一般的な表記をしている

8. 感想

• 初期値の設定はベイズで事前分布として知識を埋め込むのに似ている気がする