谈谈由异常输入导致的 ReLU 神经元死亡的问题 | 始终

[Liam0205]

https://liam.page/2018/11/30/vanishing-gradient-of-ReLU-due-to-unusual-input/

最近在阅读 Airbnb 的论文 Applying Deep Learning to Airbnb Search。阅读的过程中，我发现作者在谈及特征归一化的必要性时，有如下表述： Feeding values that are outside the usual range of features can cause large gradients to back propagate. This

[liao02x]

这就是很多新的工作开始采用leakyReLU的原因吗

[Liam0205]

@liao02x 对

[NicoleYang61]

也就是说，这个神经元的参数再也不会更新了。这句话有点问题。 神经元死亡后是可以复活的。 https://www.quora.com/What-is-the-dying-ReLU-problem-in-neural-networks

[Liam0205]

@NicoleYang61 也就是说，这个神经元的参数再也不会更新了。这句话有点问题。 神经元死亡后是可以复活的。 https://www.quora.com/What-is-the-dying-ReLU-problem-in-neural-networks

我知道你的意思。但我这里强调的是：「对于常规输入来说，ReLU 的输入大概率是个负数。这也就是说，ReLU 大概率是关闭的。这时，梯度无法经 ReLU 反向传播至 ReLU 的输入函数。」

所以对于将来的正常值，这个神经元就是死亡了。「复活」的条件很特别，对于一般的正常值是难以实现的。

[NicoleYang61]

非常不好意思，现在才看到这个回复，非常非常感谢你的回答！

Liam Huang notifications@github.com 于2019年4月21日周日 下午5:28写道：

@NicoleYang61 https://github.com/NicoleYang61 也就是说，这个神经元的参数再也不会更新了。这句话有点问题。 神经元死亡后是可以复活的。 https://www.quora.com/What-is-the-dying-ReLU-problem-in-neural-networks

我知道你的意思。但我这里强调的是：「对于常规输入来说，ReLU 的输入大概率是个负数。这也就是说，ReLU 大概率是关闭的。这时，梯度无法经 ReLU 反向传播至 ReLU 的输入函数。」

所以对于将来的正常值，这个神经元就是死亡了。「复活」的条件很特别，对于一般的正常值是难以实现的。

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/Liam0205/liam0205.github.io/issues/262#issuecomment-485237885, or mute the thread https://github.com/notifications/unsubscribe-auth/ALTD7QJ5QJHDOCP6K6KXRYTPRQXSVANCNFSM4GPSIZ5A .

[Liam0205]

@NicoleYang61 非常不好意思，现在才看到这个回复，非常非常感谢你的回答！

没关系，不用抱歉的。

请问你有 blog 吗，欢迎多交流。: )

[Alobal]

您好，我理解下来ReLU是不能接受负的输入的。那么比如我想给神经网络输入一个三维坐标(x,y,z)，是不是xyz都必须归一化到大于0才可以呢？

[Frei2]

为什么反向传播过程传递到ReLU的梯度g等于损失呀？