笔记-梯度下降法

前面我们已经知道了如何衡量模型的预测效果，并且知道了如果要使得模型预测效果最佳，应该让成本函数 $J(\omega ,b)=\frac{1}{m}\sum_{i=1}^{m}L(\hat{y}^{(i)},y^{(i)})$ 取得最小值。但是我们应该如何找到使得成本函数取最小值的 $\omega$ 和 $b$ 呢？因为成本函数是凸函数，所以可以用梯度下降法。

梯度下降法

以一维的 $\omega$ 为例，图示：

由图可以知道，有两个参数需要我们确定，一个是自变量起始值，一个是没次迭代的步长。显然对于一个凸函数，不管起始点定在哪，结果都会趋近于同一个最小值点，但基于编程习惯，还是设自变量起始值为0。至于步长如何设置，我们可以进一步讨论。

显然，我们希望在离最小值点很远的时候能够走一大步，减少迭代的次数，在离最小值点很近的时候走小小的一步，提高逼近的精度。那么固定的步长便不是最合适的方案。那么有什么指标可以指示参数所处位置离最小值点的距离吗？通过观察可以发现，对于一般的凸函数，导数的绝对值总是和离最值点的距离成正比，于是，我们便可以取导数的绝对值 $\left | \frac{\partial J(\omega ,b)}{\partial \omega } \right |$ 和 $\left | \frac{\partial J(\omega ,b)}{\partial b} \right |$ 来定量设置步长。确定步长之后我们还需要知道下一步按哪个方向走一步，结合导数的正负性，不难得出第 $n+1$ 步和第 $n$ 步之间的关系：

$\omega _{n+1}=\omega _{n}-\alpha \frac{\partial J(\omega ,b)}{\partial \omega }$

$b_{n+1}=b_{n}-\alpha \frac{\partial J(\omega ,b)}{\partial b}$

其中 $\alpha$ 用来调整步长的增减速率。

SoHardToNamed

发布了24 篇原创文章 · 获赞 88 · 访问量 8万+

私信关注

猜你喜欢