[Tenserflow]_[Optimizer]

[jangsik-park]

1) Optimizer란 무엇일까요? (n411)

• 최적의 가중치를 검색하는데 사용하는 최적화 알고리즘 입니다.
• 효율적인 경사 하강법 알고리즘 중 하나인 'adam' 이 있습니다.

2) 여러 Optimizer 비교

[adam, sgd, sgd(with momentum), adagrad, rmsprop]

ㄱ. GD = gradient descent

• 가장 기본이 되는 optimizer 알고리즘
• 경사를 따라 내려가면서 w를 update 시킨다.

ㄴ. Stochastic gradient decent(SGD)

• full-batch가 아닌 mini batch로 학습을 진행하는 것

ㄷ. Momentum

• 현재 batch로만 학습하는 것이 아니라 이전의 batch 학습결과도 반영한다.

ㄹ. AdaGrad

• 학습을 통해 크게 변동이 있었던 가중치에 대해서는 학습률을 감소시키고 학습을 통해 아직 가중치의 변동이 별로 없었던 가중치는 학습률을 증가시켜서 학습이 되게끔 한다.

ㅁ. rmsProp

• AdaGrad는 간단한 convex function에서 잘 동작하지만, 복잡한 다차원 곡면 function에서는 global minimum에 도달하기 전에 학습률이 0에 수렴할 수 있다. 따라서 RMSProp에서는 이를 보완하였다.

ㅂ. Adam

• Momentum과 RMSProp를 융합한 방법

출처

케라스 optimizer 비교