search

nndl / solutions

《神经网络与深度学习》课后习题答案-分享讨论
697 stars 79 forks source link

习题7-6 #57

Open simo-an opened 2 years ago

simo-an commented 2 years ago

题目

image 参考公式如下 image

解答

  1. 𝑓(BN(𝑾𝒂(𝑙−1) + 𝒃)) 表示线性计算之后、非线性激活之前（即净输入 𝒛(𝑙)）进行 批归一化
  2. 𝑓(𝑾BN(𝒂(𝑙−1)) + 𝒃) 表示上一层的输出，即当前层线性计算之前进行 批归一化

使用第一种批归一化方式，可以避免线性计算对分布的改变