实际优化问题目标函数往往比较复杂,简化问题通常将目标函数在某点附近展开为Taylor多项式来逼近原函数:
⋅
一元函数在点
xk
处的泰勒展开为:
f(x)=f(xk)+(x−xk)f′(xk)+12!(x−xk)2f′′(xk)+on
⋅
二元函数在点
(xk,yk)
处的泰勒展开为:
f(x,y)=f(xk,yk)+(x−xk)f′x(xk,yk)+(y−yk)f′y(xk,yk)+12!(x−xk)f′′xx(xk,yk)+12!(x−xk)(y−yk)f′′xy(xk,yk)+12!(x−xk)(y−yk)f′′yx(xk,yk)+12!(y−yk)f′′yy(xk,yk)+on
⋅多元函数在点
xk
处的泰勒展开为:
f(x1,x2,⋯,xn)=f(x1k,x2k,⋯,xnk)+∑i=1n(xi−xik)f′xi(x1,x2,⋯,xn)+12!∑i,j=1n(xi−xik)(xj−xjk)f′′ij(x1,x2,⋯,xn)
Taylor展开矩阵形式表达为:
f(x)=f(xk)+[∇f(xk)]T(x−xk)+12![x−xk]TH(xk)[x−xk]+on
其中:
H(xk)=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂2f(xk)∂x21∂2f(xk)∂x2∂x1⋮∂2f(xk)∂xn∂x1∂2f(xk)∂x1∂x2⋯∂2f(xk)∂x22⋯⋱∂2f(xk)∂xn∂x2⋯∂2f(xk)∂x1∂xn∂2f(xk)∂x2∂xn⋮∂2f(xk)∂x2n⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥