神经网络优化

[Kinpzz]

神经网络优化

Dropout

• 作用：减少过拟合

BN( Batch Normalization) 批量归一化

• 作用：加快训练速度
• 地位：与激活函数层、卷积层、全连接层、池化层一样，BN(Batch Normalization)也属于网络的一层
• 区别于Normalizaiton: 它是一个可学习、有参数（γ、β）的网络层
• 参考论文： Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

Global average pooling layer 全局均值池化

• 作用：使用全局均值池化层代替全连接层，减少参数量，减少过拟合
• 本文提出采用全局均值池化的方法，替代传统CNN中的全连接层。与传统的全连接层不同，我们对每个特征图一整张图片进行全局均值池化，这样每张特征图都可以得到一个输出。这样采用均值池化，连参数都省了，可以大大减小网络，避免过拟合，另一方面它有一个特点，每张特征图相当于一个输出特征，然后这个特征就表示了我们输出类的特征。
• 参考论文：Network in Network

共享参数

CNN通过共享卷积核的参数，减少参数量，减少过拟合，即把一整张特征图当做一个神经元进行处理。

参考

• cs231n学习笔记-激活函数-BN-参数优化
• 深度学习（二十六）Network In Network学习笔记
• 深度学习（二十九）Batch Normalization 学习笔记