Open simo-an opened 2 years ago
习题7-5 证明公式(7.45)．
当第𝑙 层神经元使用ReLU激活函数时， 通常有一半的神经元输出为0， 因此其分布的方差也近似为使用恒等函数时的一半．
即 Var[a(l)] = (1/2)Var[a(l-1)] 再由于在恒等激活函数下 只要使 即
可使得 Var[a(l)] = Var[a(l-1)] 从而输入和输出的方差即可保持不变
题目
习题7-5 证明公式(7.45)．
解答
当第𝑙 层神经元使用ReLU激活函数时， 通常有一半的神经元输出为0， 因此其分布的方差也近似为使用恒等函数时的一半．
即 Var[a(l)] = (1/2)Var[a(l-1)] 再由于在恒等激活函数下
只要使
即
可使得 Var[a(l)] = Var[a(l-1)] 从而输入和输出的方差即可保持不变