梯度及梯度下降

1、假设有多元函数 F(x) = F(x₁,x₂,...,x_n), $\frac{\partial F}{\partial x}$ :表示函数F分别对每一个自变量x求导。

　举例：二元函数F(x₁,x₂) = (3x₁+4x₂)², 计算F在点(2,3)处的梯度。

　　　F针对x_1、x₂ 的偏导数如下：$\frac{\partial F}{\partial x_1}=18x_1+24x_2$

　　　　　　　　　　　　　　　  $\frac{\partial F}{\partial x_2}=24x_1+32x_2$ 

   　　所以F在(2,3)处的梯度为(18*2+24*3,24*2+32*3) = (108,144), 记为：

　　　$\frac{\partial F}{\partial x_x=(2,3)}=\left[\frac{108}{144}\right]$

2、导数计算的链式法则：

　　　多个函数和的导数：多个函数和的导数等于多个函数导数的和

　　　　　　假设：F(x)=$\sum_iF_i(x)$

　　　　　　则： $\frac{\partial F}{\partial x}=\sum_i\frac{F_i}{\partial x}$

　　　复合函数的导数：

扫描二维码关注公众号，回复： 4749443 查看本文章

　　　　　　假设：复合函数f(g(x)),该函数针对自变量x的导数如下：

　　　　　　$\frac{\partial f}{\partial x}=\frac{\partial f}{\partial g}\frac{\partial g}{\partial x}$