梯度下降法的通俗理解

版权声明:转载请注明出处 https://blog.csdn.net/qq_26769591/article/details/84666495

摘要:
梯度下降法我的理解

梯度下降:

1.梯度是一个向量

2.梯度的大小就是 该点最大的导数

某一点会有各种斜率值(不同方向),其中沿梯度方向,斜率值最大

3.梯度下降法

梯度下降法 其实就是 沿着梯度的方向 向上或者向下
沿着梯度的方向就是:在各个方向 增减相同的值
在这里插入图片描述

4.梯度和导数的关系

假设w=x(t)+y(t) +z(t)
梯度是一个向量:导数最大的方向 它的值 就是该方向上的导数(斜率)
导数(斜率)是一个标量 =在某一个方向上的斜率=斜率就是某个方向上的加速度
一般导数为零的点=就是极值点
偏微分=偏导数=x方向上的斜率 =就是某个方向上的加速度

参考文献

梯度下降(Gradient Descent)小结 - 刘建平Pinard - 博客园:
https://www.cnblogs.com/pinard/p/5970503.html

猜你喜欢

转载自blog.csdn.net/qq_26769591/article/details/84666495