search

hanbt / learn_dl

Deep learning algorithms source code for beginners
Apache License 2.0
1.19k stars 988 forks source link

rnn.py中梯度检查中的epsilon无论取什么值，算出来的梯度都是一样的 #47

Open nuaawh opened 5 years ago

nuaawh commented 5 years ago

rnn.py中梯度检查中的epsilon无论取什么值，算出来的梯度都是一样的

qsa-fox commented 4 years ago

这是因为所有地激活函数都是IdentityActivator，意味着没有任何非线性结构，所以算输出值和权重成线性关系，因此无论epsilon取什么值，算出来地梯度都是一样的。