Training deep networks without learning rates through coin betting - Githubissues

CompML / survey-stochastic-optimization

Survey for Stochastic Optimization

3 stars 0 forks source link

Training deep networks without learning rates through coin betting #1

Open nocotan opened 3 years ago

nocotan commented 3 years ago

一言でいうと

学習率不要で最適化を行う手法を提案．提案手法は，最適化問題をコイン投げのギャンブルとして扱う[Orabona and Pál, 2016]の拡張になっている．

論文リンク

NeurIPS2017 https://proceedings.neurips.cc/paper/2017/hash/7c82fab8c8f89124e2ce92984e04fb40-Abstract.html

著者/所属機関

Francesco Orabona (Stony Brook University), Tatiana Tommasi (Rome University)

投稿日付(yyyy/MM/dd)

2017/12/04

概要

Screen Shot 2020-12-12 at 6 16 30

新規性・差分

先行研究で考慮できていなかったデータ依存性を取り入れた収束レートの証明ができている
提案手法をニューラルネットワークの学習に適用できるように拡張した場合については，実験的に良い性能を達成できることを示している

手法

確率的最適化のプロセスをコイン投げのギャンブルの問題として捉える．
滑らかでない関数についての提案手法の収束レートは，学習率の調整なしに以下を達成する：

$\begin{align} \tilde{O}\Big(\frac{\|w^*\|_1}{\sqrt{T}}\Big) \nonumber \end{align}$

これは例えばAdaGradにおいて最適な学習率の初期値を選択した場合に一致する．

結果

現在広く使われている最適化手法において，パラメータチューニングを頑張った結果と同等かそれ以上の性能を，パラメータ不要で達成できている．
使ったデータはMNIST, CIFAR10, PTB

コメント

ニューラルネットワークに対する拡張に関しては，理論的な保証はできていない
次に読む論文は，この論文の拡張元になった[Orabona and Pál, 2016]

nocotan commented 3 years ago

実装しました． https://github.com/nocotan/cocob_backprop