习题4-1

[fecet]

[progress612]

此外，接近 0 的输入在 sigmoid 型函数上的导数较大，梯度下降速度较快

[zzgnb]

在更新式w=w+yx中，输入x恒大于0即所有维x>0，共用一个y，则所有维yx同号，w中各维的梯度更新方向都为正或都为负； 并不是说梯度更新的符号不变，而是所有维度的梯度更新符号一致，这就减少了梯度下降可选择的方向； 例如在图中的二维空间中，由于梯度全为正或负，因此梯度更新仅能向右上（w梯度>0）或左下（w梯度<0）更新，而若最优解在当前位置的右下（w0梯度>0，w1梯度<0）时，则只能通过振荡的方法逼近，影响梯度下降速度