GD, SGD, LB - Githubissues

ronnyyoung / notebook

Knowledge Aggregation about machine learning, deep learning, computer vision, programming, computer system, etc.

1 stars 0 forks source link

GD, SGD, LB #1

Open ronnyyoung opened 7 years ago

ronnyyoung commented 7 years ago

GD需要用全部的样本来更新参数，计算代价高
SGD容易在最小值处拔振荡(oscillating)，需要优化learning rate的调整策略
Batch Size取多大是一个问题
在现代GPU架构中，大的BatchSize有利于数据的并行，大的Batch Size一般需要配大的Learning Rate
大的BatchSize在训练上精度一般为如小的BatchSize（原因可能是容易陷入在局部极小值点）
实践中可以考虑把不同batch size在不同训练阶段有策略地调整，以及有策略的调整learning rate

相关论文：

Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour [pdf]

ronnyyoung commented 7 years ago

知乎-尝试理解深度神经网络的Large-batch魔咒