本课程来自
深度之眼,部分截图来自课程视频。
【第二章 微积分】2.3多元微积分
在线LaTeX公式编辑器
任务详解:
这节课主要介绍了偏导数,多元复合函数求导法则,方向导数与梯度,多元函数泰勒公式,多元函数的极值,矩阵的求导等知识点。
掌握目标:
1、了解偏导数的概念,掌握求法
2、掌握复合偏导数的求法
3、掌握方向导数和梯度
4、了解多元函数的泰勒展开,海森矩阵,极值的充要条件
5、掌握常用矩阵的求导
1.偏导数
定义设函数
z=f(x,y)在点
(x0,y0)的某一邻域内有定义,当
y固定在
y0
而
x在
x0处有增量
Δx时,相应的函数有增量
f(x0+Δx,y0)−f(x0,y0)
如果:
Δx→0limΔxf(x0+Δx,y0)−f(x0,y0)(1)
存在,那么称此极限为函数
z=f(x,y)在点
(x0,y0)处对x的偏导数,记作:
∂x∂z∣∣∣∣x=x0y=y0,∂x∂f∣∣∣∣x=x0y=y0,zx∣∣∣∣x=x0y=y0或fx(x0,y0)
类似地,函数
z=f(x,y)在点
(x0,y0)处对y的偏导数定义为:
Δy→0limΔyf(x0+Δy,y0)−f(x0,y0)(2)
记作:
∂y∂z∣∣∣∣x=x0y=y0,∂y∂f∣∣∣∣x=x0y=y0,zy∣∣∣∣x=x0y=y0或fy(x0,y0)
偏导数的概念还可推广到二元以上的函数.例如三元函数
u=f(x,y,z)在点
(x,y,z)处对x的偏导数定义为:
fx(x,y,z)=Δx→0limΔxf(x+Δx,y,z)−f(x,y,z)
同理有:
fy(x,y,z)=Δy→0limΔyf(x,y+Δy,z)−f(x,y,z)
fz(x,y,z)=Δz→0limΔzf(x,y,z+Δz)−f(x,y,z)
---------------------------------------------------------割你没商量1------------------------------------------------------
例子:求
z=x2+3xy+y2在点(1,2)处的偏导数。
∂x∂z=2x+3y
∂y∂z=3x+2y
∂x∂z∣∣∣∣(1,2)=5
∂y∂z∣∣∣∣(1,2)=5
---------------------------------------------------------割你没商量1------------------------------------------------------
二阶偏导数
设函数
z=f(x,y)在区域D内具有偏导数
∂x∂z=fx(x,y),∂y∂z=fy(x,y)
于是在D内
fx(x,y),
fy(x,y)都是x,y的函数.如果这两个函数的偏导数也存在,那么称它们是函数
z=f(x,y)的二阶偏导数。按照对变量求导次序的不同有下列四个二阶偏导数:
∂x∂(∂x∂z)=∂x2∂2z=fxx(x,y),∂y∂(∂x∂z)=∂x∂y∂2z=fxy(x,y)
∂x∂(∂y∂z)=∂y∂x∂2z=fyx(x,y),∂y∂(∂y∂z)=∂y2∂2z=fyy(x,y)
2.多元复合函数求导法则
2.1.一元函数与多元函数复合的情形
定理1如果函数
u=φ(t)及
v=ψ(t)都在点
t可导,函数
z=f(u,v)在对应点
(u,v)具有连续偏导数,那么复合函数:
z=f[φ(t),ψ(t)]在点
t可导,且有
dtdz=∂u∂z∂t∂u+∂v∂z∂t∂v
2.2.多元函数与多元函数复合的情形
定理2如果函数
u=φ(x,y)及
v=ψ(x,y)都在点
(x,y)具有对x及对y的偏导数,函数
z=f(u,v)在对应点
(u,v)具有连续偏导数,那么复合函数
z=f[φ(x,y),ψ(x,y)]在点
(x,y)的两个偏导数都存在,且有
∂x∂z=∂u∂z∂x∂u+∂v∂z∂x∂v
∂y∂z=∂u∂z∂y∂u+∂v∂z∂y∂v
3.方向导数与梯度(重要)
方向导数
以二元函数为例:
{x=x0+tcosαy=y0+tcosβ(t≥0)
t从图像上看实际上就是从
P0到
P的距离
引入方向导数(想要求沿着哪个方向走,x和y的变化最大/快):
∂l∂f∣∣∣∣x0,y0=t→0+limtf(x0+tcosα,y0+tcosβ)−f(x0,y0)(3)
定理如果函数
f(x,y)在点
P0(x0,y0)可微分,那么函数在该点沿任一方向
l的方向导数存在,且有
∂l∂f∣∣∣∣x0,y0=fx(x0,y0)cosα+fy(x0,y0)cosβ(4)
等式(4)可以由(3)推出来,证明如下:
---------------------------------------------------------割你没商量2------------------------------------------------------
(3)=t→0+lim[tf(x0+tcosα,y0+tcosβ)−f(x0,y0+tcosβ)+tf(x0,y0+tcosβ)−f(x0,y0)]
分别看加号两边的两项,先看左边,分子分母同时乘上
cosα:
t→0+limtcosαf(x0+tcosα,y0+tcosβ)−f(x0,y0+tcosβ)cosα(5)
当
t→0+的时候
tcosα→0,所以可以把
tcosα看做是
Δx,式(5)变成:
t→0+limΔxf(x0+Δx,y0+tcosβ)−f(x0,y0+tcosβ)cosα(6)
根据最上面偏导数的定义公式(1),把
y0+tcosβ看成一个整体,可知(6)就是
fx(x0,y0+tcosβ)cosα
由于
t→0,
fx(x0,y0+tcosβ)cosα=fx(x0,y0)cosα
再看右边,,分子分母同时乘上
cosβ:
t→0+limtcosβf(x0,y0+tcosβ)−f(x0,y0)cosβ(7)
同样的,把
tcosβ看做是
Δy,式(7)变成:
t→0+limΔyf(x0,y0+Δy)−f(x0,y0)cosβ(8)
根据最上面偏导数的定义公式(2),可知(8)就是:
fy(x0,y0)cosβ
所以(4)=(3),搞定。
---------------------------------------------------------割你没商量2------------------------------------------------------
梯度
与方向导数有关联的一个概念是函数的梯度。在二元函数的情形,设函数
f(x,y)在平面区域D内具有一阶连续偏导数,则对于每一点
P0(x0,y0)∈D,都可定出一个向量
fx(x0,y0)i+fy(x0,y0)j
这向量称为函数
f(x,y)在点
P0(x0,y0)的梯度,记作grad
f(x0,y0)或
▽f(x0,y0),即
grad f(x0,y0)=▽f(x0,y0)=fx(x0,y0)i+fy(x0,y0)j
如果函数
f(x,y)在点
P0(x0,y0)可微分,
el=(cosα,cosβ)是与方向
l同向的单位向量,那么
∂l∂f∣∣∣∣x0,y0=fx(x0,y0)cosα+fy(x0,y0)cosβ(4)
两个向量的点积可以写成两个向量的模长乘以夹角的余弦值。
θ=0的时候变量变化得最快。
=grad f(x0,y0)⋅el=∣grad f(x0,y0)∣cosθ
4.多元函数泰勒公式
多元函数泰勒公式
以上是比较晦涩的公式,实际使用中,只要展开的前面两项
f(x0+Δx,y0+Δy)=f(x0,y0)+(9)
fx(x0,y0)Δx+fy(x0,y0)Δy+(10)
fxx(x0,y0)Δx2+2fxy(x0,y0)ΔxΔy+fyy(x0,y0)Δy2(11)
可以看到(9)是0次项,(10)是一次项,(11)是二次项,后面的三次项一般都省略不用。
(10)可以看做是:
[fxfy][ΔxΔy]=▽fT[ΔxΔy]
(11)可以看做是:
[ΔxΔy][fxxfxyfxyfyy][ΔxΔy]
[fxxfxyfxyfyy]称为hessian矩阵。
海森矩阵(二维或高维)
把上面的二元推广到多元,例如,设函数为
f(x1,x2,...,xn),则它的泰勒展开为:
f(x1+Δx1,x2+Δx2,...,xn+Δxn)=f(x1,x2,...,xn)+
[Δx1Δx2⋯Δxn]⎣⎢⎢⎢⎡fx1(x1,x2,...,xn)fx2(x1,x2,...,xn)⋮fxn(x1,x2,...,xn)⎦⎥⎥⎥⎤+
[Δx1Δx2⋯Δxn][Hessian Matrix H]n×n⎣⎢⎢⎢⎡Δx1Δx2⋮Δxn⎦⎥⎥⎥⎤
中间的黑神矩阵的通项为:
hij=ΔxiΔxj∂2f
例如矩阵第一行为:
fx1x1,fx1x2,...,x1xn
黑神矩阵是对称矩阵。
5.多元函数的极值
定义设函数
z=f(x,y)的定义域为
D,
P0(x0,y0)为D的内点。若存在
P0
的某个邻域
U(P0)⊂D,使得对于该邻域内异于
P0的任何点
(x,y),都有
f(x,y)<f(x0,y0)
则称函数
f(x,y)在点
(x0,y0)有极大值
f(x0,y0),点
(x0,y0)称为函数
f(x,y)的极大值点;
若对于该邻域内异于
P0的任何点
(x,y),都有
f(x,y)>f(x0,y0)
则称函数
f(x,y)在点
(x0,y0)有极小值
f(x0,y0),点
(x0,y0)称为函数
f(x,y)的极小值点.
极大值与极小值统称为极值.使得函数取得极值的点称为极值点.
定理1(必要条件)设函数
z=f(x,y)在点
(x0,y0)具有偏导数,且在点
(x0,y0)处有极值,则有
fx(x0,y0)=0,fy(x0,y0)=0
定理2(充分条件)设函数
z=f(x,y)在点
(x0,y0)的某邻域内连续且有一阶及二阶连续偏导数,又
fx(x0,y0)=0,fy(x0,y0)=0,令
fxx(x0,y0)=A,fxy(x0,y0)=B,fyy(x0,y0)=C
则
f(x,y)在
(x0,y0)处是否取得极值的条件如下:
(1)
AC−B2>0时具有极值,且当
A<0时有极大值,当
A>0时有极小值;
(2)
AC−B2<0时没有极值;
(3)
AC−B2=0时可能有极值,也可能没有极值,还需另作讨论.
这里可以看到
[fxxfxyfxyfyx]=[ABBC]是黑神矩阵。
---------------------------------------------------------割你没商量3------------------------------------------------------
这里吧充分条件进行证明。
假设
(x,y)是领域内的一个点,则在这个点上用泰勒展开得:
f(x,y)=f(x0,y0)+▽fT(x,y)[x−x0y−y0]+21[x−x0y−y0][ABBC][x−x0y−y0](12)
由于
fx(x0,y0)=0,fy(x0,y0)=0,所以
▽fT(x,y)[x−x0y−y0]=0
令
x−x0=Δx,y−y0=Δy,式(12)变成:
=f(x0,y0)+21[ΔxΔy][ABBC][ΔxΔy](13)
---------------------------------------------------------割你没商量3.1----------------------------------------------------
之前讨论正定矩阵的时候有过结论:
一个矩阵M是正定矩阵,则在他的左右两边乘以向量及向量转置大于等于0:
utMu≥0
一个矩阵M不是正定矩阵,则在他的左右两边乘以向量及向量转置大于等于0:
utMu<0
---------------------------------------------------------割你没商量3.1----------------------------------------------------
从式(13)可知,如果
[ABBC]正定,
f(x,y)=f(x0,y0)+正数,即
f(x,y)>f(x0,y0),
(x0,y0)是极小值;
如果
[ABBC]负定,
f(x,y)=f(x0,y0)+负数,即
f(x,y)<f(x0,y0),
(x0,y0)是极大值;
---------------------------------------------------------割你没商量3.2----------------------------------------------------
接下来要判断矩阵啥时候正定,根据正定的定理可知,如果一个矩阵正定,那么它的所有特征值要大于0。如果一个矩阵不正定,那么它的所有特征值要小于0。
---------------------------------------------------------割你没商量3.2----------------------------------------------------
上面
[ABBC]的特征值行列式为:
∣∣∣∣A−λBBC−λ∣∣∣∣=(λ−A)(λ−C)−B2
=λ2−(A+C)λ+AC−B2=0
情况1:正定,即
λ1>0,λ2>0→A+C>0andAC−B2>0(韦达定理)
情况2:负定,即
λ1<0,λ2<0→A+C<0andAC−B2>0(韦达定理)
无论是正定还是负定,都会有极值,也就是都满足条件
AC−B2>0,也就是
AC>B2,意味AC同号,
情况一的时候A+C>0 ,此时AC都要为正数,即A>0时,
[ABBC]正定且有极小值;
情况二的时候A+C<0 ,此时AC都要为负数,即A<0时,
[ABBC]负定且有极大值。
条件(1)得证。其他两个条件证明省略。
---------------------------------------------------------割你没商量3------------------------------------------------------
6.矩阵的求导
常见性质
1.
f(x)=Ax,则
∂xT∂f(x)=∂xT∂Ax=A
2.
f(x)=xTAx,则
∂x∂f(x)=∂xT∂(xTAx)=Ax+ATx
3.
f(x)=aTx,则
∂x∂aTx=∂x∂xTa=a
4.
f(x)=xTAy.则
∂x∂xaTAy=Ay
∂A∂xaTAy=xyT
要搞清楚矩阵求导之后变成一个矩阵还是一个值?
矩阵求导公式大全