习题7-7

[simo-an]

题目

习题7-7 从再参数化的角度来分析批量归一化中缩放和平移的意义。

解答

1. 对净输入 𝒛(𝑙) 的标准归一化会使得其取值集中到 0 附近， 如果使用 Sigmoid型激活函数时， 这个取值区间刚好是接近线性变换的区间， 减弱了神经网络的非线性性质．

因此， 为了使得归一化不对网络的表示能力造成负面影响， 可以通过一个附加的缩放和平移变换改变取值区间。