Why Do We Need Weight Decay in Modern Deep Learning?, Maksym Andriushchenko+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2310.04415

  Affiliations

  • Maksym Andriushchenko, N/A
  • Francesco D'Angelo, N/A
  • Aditya Varre, N/A
  • Nicolas Flammarion, N/A

    Abstract

  • Weight decay is a broadly used technique for training state-of-the-art deepnetworks, including large language models. Despite its widespread usage, itsrole remains poorly understood. In this work, we highlight that the role ofweight decay in modern deep learning is different from its regularizationeffect studied in classical learning theory. For overparameterized deepnetworks, we show how weight decay modifies the optimization dynamics enhancingthe ever-present implicit regularization of SGD via the loss stabilizationmechanism. In contrast, for underparameterized large language models trainedwith nearly online SGD, we describe how weight decay balances the bias-variancetradeoff in stochastic optimization leading to lower training loss. Moreover,we show that weight decay also prevents sudden loss divergences for bfloat16mixed-precision training which is a crucial tool for LLM training. Overall, wepresent a unifying perspective from ResNets on vision tasks to LLMs: weightdecay is never useful as an explicit regularizer but instead changes thetraining dynamics in a desirable way. Our code is available athttps://github.com/tml-epfl/why-weight-decay.

    Translation (by gpt-3.5-turbo)

• ウェイト減衰は、大規模な言語モデルを含む最先端のディープネットワークのトレーニングに広く使用される技術ですが、その役割はまだ十分に理解されていません。 本研究では、ウェイト減衰の役割が、古典的な学習理論で研究されている正則化効果とは異なることを明らかにします。 過パラメータ化されたディープネットワークでは、ウェイト減衰が最適化ダイナミクスを変更し、損失の安定化メカニズムを通じてSGDの暗黙の正則化を強化する方法を示します。 一方、ほぼオンラインSGDでトレーニングされた過パラメータ化された大規模言語モデルでは、ウェイト減衰が確率的最適化におけるバイアス-分散トレードオフをバランスさせ、トレーニング損失を低下させる方法を説明します。 さらに、ウェイト減衰は、LLMトレーニングにおいて重要なツールであるbfloat16混合精度トレーニングにおける急激な損失の発散も防ぎます。 全体として、私たちはResNetからビジョンタスクまでの統一的な視点を提示しています：ウェイト減衰は明示的な正則化としては決して有用ではなく、代わりに望ましいトレーニングダイナミクスを変えるものです。 私たちのコードはhttps://github.com/tml-epfl/why-weight-decayで利用可能です。

  Summary (by gpt-3.5-turbo)

• ウェイト減衰は、大規模な言語モデルのトレーニングに使用されるが、その役割はまだ理解されていない。本研究では、ウェイト減衰が古典的な正則化とは異なる役割を果たしていることを明らかにし、過パラメータ化されたディープネットワークでの最適化ダイナミクスの変化やSGDの暗黙の正則化の強化方法を示す。また、ウェイト減衰が確率的最適化におけるバイアス-分散トレードオフのバランスを取り、トレーニング損失を低下させる方法も説明する。さらに、ウェイト減衰はbfloat16混合精度トレーニングにおける損失の発散を防ぐ役割も果たす。全体として、ウェイト減衰は明示的な正則化ではなく、トレーニングダイナミクスを変えるものであることが示される。

[AkihikoWatanabe]

参考: https://x.com/hillbig/status/1712220940724318657?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q

[AkihikoWatanabe]

WeightDecayは目的関数に普通にL2正則化項を加えることによって実現されるが、深掘りするとこんな効果があるのね