search

murphypei / murphypei.github.io

15 stars 6 forks source link

聊聊梯度消失和梯度爆炸 | 拾荒志 #36

Closed murphypei closed 2 years ago

murphypei commented 4 years ago

https://murphypei.github.io/blog/2019/12/sigmoid-gradient.html

周末刷知乎看到一个问题，关于如何理解梯度消失和梯度爆炸的。有个回答讲的比较好，就和 sigmoid 函数一起总结一下吧。

murphypei commented 4 years ago

支持一下评论区

Jimmymy commented 2 years ago

请问一下，最后这个导数的值域是不是应该在0到0.25之间啊

murphypei commented 2 years ago

@Jimmymy 请问一下，最后这个导数的值域是不是应该在0到0.25之间啊

是的，最大值是0.25，我这里没写的那么精确