system-a 中，梯度下降的循环中，梯度的 shape 与参数的 shape 不一致。

[xieyuheng]

训练鸢尾花的模型时，在循环中打印所求梯度，可以发现这一现象。

训练的结果不好，因为所得的梯度中有很多是 0。

需要单独测试梯度函数来看看是不是因为 target 函数没有返回标量导致的。

也可能是因为 extend2 用了 shape 而没有用 tlen，因此与书中不一致，导致的。

[xieyuheng]

原来是 "dying ReLU" problem，哈哈哈：

• https://medium.com/@MrBam44/the-dying-relu-problem-causes-and-solutions-1a970f177c
• https://datascience.stackexchange.com/questions/5706/what-is-the-dying-relu-problem-in-neural-networks
• https://paperswithcode.com/method/leaky-relu

更多：

• https://en.wikipedia.org/wiki/Artificial_neuron
• https://en.wikipedia.org/wiki/Activation_function
• https://en.wikipedia.org/wiki/Rectifier_(neural_networks)