Open fecet opened 4 years ago
此外,接近 0 的输入在 sigmoid 型函数上的导数较大,梯度下降速度较快
在更新式w=w+yx中,输入x恒大于0即所有维x>0,共用一个y,则所有维yx同号,w中各维的梯度更新方向都为正或都为负;
并不是说梯度更新的符号不变,而是所有维度的梯度更新符号一致,这就减少了梯度下降可选择的方向;
例如在图中的二维空间中,由于梯度全为正或负,因此梯度更新仅能向右上(w梯度>0)或左下(w梯度<0)更新,而若最优解在当前位置的右下(w0梯度>0,w1梯度<0)时,则只能通过振荡的方法逼近,影响梯度下降速度