ML Arch GD xGD

[junxnone]

BGD SGD MBGD

Reference

• 随机梯度下降法，批量梯度下降法和小批量梯度下降法以及代码实现
• 优化器（Optimizer）介绍
• 为什么说随机最速下降法(SGD)是一个很好的方法？
• SGD过程中的噪声如何帮助避免局部极小值和鞍点？
• Deep Learning 最优化方法之SGD
• 最清晰的讲解各种梯度下降法原理与Dropout
• 一文搞懂深度学习中的梯度下降
• An overview of gradient descent optimization algorithms
• 梯度下降优化算法概述

Brief

• BGD ==> SGD ==> MBGD
• BGD 学习时间长/计算量大/内存消耗大
• SGD 可以逃离局部最优点
• MBGD - 结合 BGD + SGD，速度快/精度高

Name	Description	更新策略
BGD Batch Gradient Descent 批量梯度下降	使用整个训练集
SGD Stochastic Gradient Descent 随机梯度下降	样本集中的一个随机样本
MBGD Mini-batch Gradient Descent 小批量梯度下降	随机采样batch_size个样本

---

鞍点	局部最小值

[junxnone]

junxnone/aiwiki#147