Open lawlite19 opened 5 years ago
http://lawlite.me/2017/01/09/%E8%AE%BA%E6%96%87%E8%AE%B0%E5%BD%95-Batch-Normalization/
参考论文：http://jmlr.org/proceedings/papers/v37/ioffe15.pdf 一、论文概述 2015年Google提出的Batch Normalization 训练深层的神经网络很复杂，因为训练时每一层输入的分布在变化，导致训练过程中的饱和，称这种现象为：internal covariate shift 需要降低学习率Learning Rate和注意参数的初始
http://lawlite.me/2017/01/09/%E8%AE%BA%E6%96%87%E8%AE%B0%E5%BD%95-Batch-Normalization/
参考论文：http://jmlr.org/proceedings/papers/v37/ioffe15.pdf 一、论文概述 2015年Google提出的Batch Normalization 训练深层的神经网络很复杂，因为训练时每一层输入的分布在变化，导致训练过程中的饱和，称这种现象为：internal covariate shift 需要降低学习率Learning Rate和注意参数的初始