网络初始化/Initializing neural networks

[junxnone]

Reference

• Initializing neural networks - online demo
• 交互式demo助你轻松理解神经网络初始化

Brief

UseCase

• 任意常数初始化方法(包含 Zero) 阻止学习不同特征
• 太小/太大 初始化 会导致学习缓慢/发散(梯度消失/梯度爆炸)
• 合适的初始化值
  • 激活值的均值应为零
  • 每一层激活值的方差应该保持一致

---