一个iteration不就是一个batch前向传播一次反向传播一次再参数更新一次么

ae86zhizhi commented 5 years ago

现在用的优化器SGD是stochastic gradient descent的缩写，但不代表是一个样本就更新一回，还是基于mini-batch的。那 batch epoch iteration代表什么呢？（1）batchsize：批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；（2）iteration：1个iteration等于使用batchsize个样本训练一次；（3）epoch：1个epoch等于使用训练集中的全部样本训练一次，通俗的讲epoch的值就是整个数据集被轮几次。比如训练集有500个样本，batchsize = 10 ，那么训练完整个样本集：iteration=50，epoch=1.

Ryanrenqian commented 5 years ago

谢谢这位同学的回答，Nice answer

Ryanrenqian commented 5 years ago

https://machinelearningmastery.com/difference-between-a-batch-and-an-epoch/ 补充一下相关的内容

Ryanrenqian / AI_HW

一个iteration不就是一个batch前向传播一次反向传播一次再参数更新一次么 #4