PDF笔记中一些部分偏简

[Yuziquan]

“4.4 梯度下降法实践 2-学习率 ” 在视频中吴恩达老师谈及了不少的关于学习率的很好的处理细节，但是pdf笔记中有些简单掠过或者省略不提，当然自己可以记笔记补充上去，不过希望后期可以在pdf笔记中增加，造福别人（初学者）哈哈。下面是我认为比较重要的细节，但是笔记中好像没有怎么提到。

1. 视频中举例了两幅很好的反例图说明了什么情况下我们需要降低学习率； 2.视频中提及一个重要事实：数学家已经证明，只要学习率足够小，则每次迭代之后代价函数都会减少； 3.如何尝试不同的学习率？吴恩达老师的方式是“3倍间隔法”； 4.如何选取合适的学习率？绘制代价函数随迭代次数变化的曲线，选取使得代价函数“快速下降” 的学习率作为当前问题合适的学习率。

[fengdu78]

这个笔记写得比较早了，目前不打算大的更新，我已经公开了word文件和markdown文件，希望有兴趣可以补充。