Continual and Multi-Task Architecture Search

Ramakanth Pasunuru, Mohit Bansal https://www.aclweb.org/anthology/P19-1185/

NASの一種として、新しくContinual/Multi-task architecture searchを提案
- NAS: タスクやデータセットに対して最適なネットワーク構造を自動探索する
- 人間が設計した構造には帰納的なバイアスが入ってしまうが、そういうことがない
- 言語モデル、画像分類の分野で大きな成功
- 強化学習ベースの手法Effective Neural Architecture Search(ENAS)が有名
- 複数のデータソースへの転移学習が容易になるような拡張を考案
  - Continual Learning
- CLの最大の問題として破滅的忘却(catastrophic forgetting)がある
- この問題へ対処した新しいアプローチ Continual architecture search (CAS)を提案
- 最初のタスクで学習したモデルパラメータを新しいタスクに適用できるような進化をする
- これを可能にするために、ブロックのスパース性と直行性に基づいた2段階のグラフ初期化アプローチを定式化
- Multi-task architecture search (MAS)も提案
- 複数のタスクに適した構造を探索する
- 有用性を示すためにGLUEベンチマークで評価
- 3つのことなるドメインでのvideo-captioningタスクでも評価
ENASをテキスト分類とvideoキャプション生成に応用する場合
- 分類器やencoder/decoderはN個のRNNノードを持つ
- ノードから有向非巡回グラフ構造(DAG)を構築(sampling) (コントローラの役目)
  - DAG構造上でミニバッチ分を使ってRNNのノードやパラメータを訓練する
- 再度コントローラがDAGをサンプリングして評価を行う
  - 評価の結果をコントローラが報酬として受け取り、パラメータを更新
- これを繰り返して一番良い結果を得るDAG構造を得る
  - その構造で再度訓練をしなおして最終結果とする
- 図の上部はNLIタスクを行う場合
- 2つの文用のエンコーダがある
- 図の下部は動画からキャプション生成を行う
- 条件付き文生成である
CAS
- データ集合d1に対して、独立したパラメータで構造探索を行う
- 別のデータ集合d2に対して、d1で学習したパラメータ固定し、別のパラメータをd2用に用意して更新する
MAS
- ENASの拡張
- 同じ構造に対し異なるドメインのデータセットでそれぞれ評価
- 結合した報酬をコントローラに与える
評価
- QNLIのaccuracyをCASとbiLSTM-ELMo, ENASと比較
- 特にCASで順にQNLI, RTE, WNLIと順に学習させる
  - 過去に学習したタスクの精度を保ちつつ新しいタスクでも良い結果を得られた
  - 破滅的忘却を回避できている
- 動画キャプション生成でも評価
実装 https://github.com/ramakanth-pasunuru/CAS-MAS

knok / acl-2019-reading

Continual and Multi-Task Architecture Search #86