Weight Selection for Model Initialization

[mei28]

---

id: weight-selection-for-model-initialization aliases:

• Weight Selection for Model Initialization tags:

• TSUNDOKU

Weight Selection for Model Initialization

🔑この論文のキーメッセージ

• 事前学習済みモデルのパラメータを用いて、新たに学習する小さなモデルの初期値パラメータの設定を行う。事前学習済みモデルをリソースとみなすことで、小さなモデルの精度向上や学習コストの軽減に有用。

🎓どういう問題に取り組んだのか

• モデル学習を行う時、モデルパラメータの初期値をどのように設定すればいいのか
• モデルパラメータの初期値設定方法を提案して、より学習効率を高めたい。

🎓その問題に取り組むことがなぜ重要なのか

• モデルパラメータはこれまでランダムな値で初期化するのが慣例であった。(Xavier initialize, Kamining initializeがよく用いられる)
• 重みの初期化はモデルの最適化を行う上で重要

💡問題解決に向けたキーアイデアは何か

• 事前学習済みの大規模なモデルの重みを用いて、新たに学習する小さなモデルのパラメータに活用する。
  • 事前学習済みモデルを新たなモデル学習をおこなうリソースとして使う！
  • 一種の知識蒸留に似ている。事前学習済みモデルを教師、小さなモデルを生徒とみなす。
• 3stepよって大きなモデルから小さなモデルへ初期化パラメータの設定を行う
  • Layer Selection
    • モデルのアーキテクチャによってどの層を選択するかは変わる。
    • isotropic architectures (ViT,MLP-mixer)では先頭N層を選択 → first-N Selection
    • Hierachical architecture (VGG, Swin, ConNeXt)では、それぞれの層で firtst-N Selection。[3,3,9,3] → [2,2,6,2]
  • Component Mapping
    • Layer Selectionで選択したLayerの対応関係を保存。これは一対一対応される
  • Element Selection
    • 各Layerの中の要素の対応は生徒モデルの要素数に合わせて選択。（間引きしているイメージ）
    • この選択方法はいろいろ検討できるが、今回は一様分布（上で言ったもの）

👀新たに分かったことは何か

• 画像分類における初期値設定の違いによる精度向上を見る
  • 9つの異なる画像データセットの事前学習ずみモデル（教師）とした重み選択を行う。
• ランダムな設定と比べて、重み選択したことによって最終精度が高くなった。
  • 学習の早い段階で、精度向上に違いがでた。
• 損失関数の設計において、知識蒸留をもちいると、さらに重み選択することで精度向上が行えた
• 重み選択をすることで学習に必要な時間を抑えられた。

コメント

次はなに読む？

論文リンク

https://openreview.net/pdf?id=dyrGMhicMw

著者/所属機関

投稿日付(yyyy/MM/dd)

• ICLR2024