为什么梯度方向就是最速下降？—泰勒展开

为什么梯度方向就是最速下降？

 在机器学习、统计分析、运筹优化中，我们经常会用到梯度法、牛顿法等优化算法，他们的原理本质就是梯度方向是函数值下降最快的方向，但为什么呢？

 原理：泰勒展开

 即：

 -▽f(x)Δx 即df(x)Δx ，为函数值的变化量，是向量df(x) 和 Δx的点积，当两向量共线时点积值最大，因此要想找到从A点最快到B点的路径，就要找到最大点积值，也就是说使两向量方向相同。 d f(x)是函数在x处的梯度，所以梯度方向是函数局部上升最快的方向。