名词解释

[Langzzx]

为什么损失函数用对数? 对数损失是用于最大似然估计的。 一组参数在一堆数据下的似然值，等于每一条数据的概率之积。 而损失函数一般是每条数据的损失之和，为了把积变为和，就取了对数。 再加个负号是为了让最大似然值和最小损失对应起来。

ref to: zhihu: 对数损失函数是如何度量损失的 zhihu: 在统计学中为什么要对变量取对数

[Langzzx]

batch normalization

A technique for accelerating deep neural network learning

比如， 带Mini-batch的SGD

• 选择n个训练样本（n<m，m为总训练集样本数）
• 在这n个样本中进行n次迭代，每次使用1个样本
• 对n次迭代得出的n个gradient进行加权平均再并求和，作为这一次mini-batch下降梯度
• 不断在训练集中重复以上步骤，直到收敛。