issues
search
Kinpzz
/
Deep-Learning-on-Medical-Image
some materials about deep learning on medical image like x-rays, MRI, CT
31
stars
15
forks
source link
神经网络优化
#6
Open
Kinpzz
opened
7 years ago
Kinpzz
commented
7 years ago
神经网络优化
Dropout
作用:减少过拟合
BN( Batch Normalization) 批量归一化
作用:加快训练速度
地位:与激活函数层、卷积层、全连接层、池化层一样,BN(Batch Normalization)也属于网络的一层
区别于Normalizaiton: 它是一个可学习、有参数(γ、β)的网络层
参考论文: Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
Global average pooling layer 全局均值池化
作用:使用全局均值池化层代替全连接层,减少参数量,减少过拟合
本文提出采用全局均值池化的方法,替代传统CNN中的全连接层。与传统的全连接层不同,我们对每个特征图一整张图片进行全局均值池化,这样每张特征图都可以得到一个输出。这样采用均值池化,连参数都省了,可以大大减小网络,避免过拟合,另一方面它有一个特点,每张特征图相当于一个输出特征,然后这个特征就表示了我们输出类的特征。
参考论文:Network in Network
共享参数
CNN通过共享卷积核的参数,减少参数量,减少过拟合,即把一整张特征图当做一个神经元进行处理。
参考
cs231n学习笔记-激活函数-BN-参数优化
深度学习(二十六)Network In Network学习笔记
深度学习(二十九)Batch Normalization 学习笔记
神经网络优化
Dropout
BN( Batch Normalization) 批量归一化
Global average pooling layer 全局均值池化
共享参数
CNN通过共享卷积核的参数,减少参数量,减少过拟合,即把一整张特征图当做一个神经元进行处理。
参考