Hessian矩阵逆矩阵的近似
一、拟牛顿法的基本思路
令
H0,H1,H2,…
表示Hessian矩阵逆矩阵
F(x(k))−1
的一系列近似矩阵。我们要讨论的是这些近似矩阵应该满足的条件,这是拟牛顿法的基础。首先,假定目标函数
f
的Hessian矩阵
F(x)
是常数矩阵,与
x
无关,即目标函数是二次型函数,
F(x)=Q,Q=QT
则:
g(k+1)−g(k)=Q(x(k+1)−x(k))
令
Δg(k)=g(k+1)−g(k)Δx(k)=x(k+1)−x(k)
可得
Δg(k)=QΔx(k)
记对称正定实矩阵
H0
作为近似矩阵的初始矩阵,在给定的
k
下,矩阵
Q−1
应该满足:
Q−1Δg(i)=Δx(i),0≤i≤k
因此,近似矩阵
Hk+1
应该满足
Hk+1Δg(i)=Δx(i),0≤i≤k
如果共展开
n
次迭代,则共产生
n
个迭代方向
Δx(0),Δx(1),…,Δx(n−1)
。由此可得
Hn
应该满足条件:
HnΔg(0)=Δx(0)HnΔg(1)=Δx(1)⋮HnΔg(n−1)=Δx(n−1)
将其改写为
Hn[Δg(0),Δg(1),…,Δg(n−1)]=[Δx(0),Δx(1),…,Δx(n−1)]
矩阵
Q
能够满足:
Q[Δx(0),Δx(1),…,Δx(n−1)]=[Δg(0),Δg(1),…,Δg(n−1)]
和
Q−1[Δg(0),Δg(1),…,Δg(n−1)]=[Δx(0),Δx(1),…,Δx(n−1)]
这说明, 如果
[Δg(0),Δg(1),…,Δg(n−1)]
非奇异,那么矩阵
Q−1
能够在
n
次迭代之后唯一确定, 即
Q−1=Hn=[Δx(0),Δx(1),…,Δx(n−1)][Δg(0),Δg(1),…,Δg(n−1)]−1
由此,可得如果
Hn
能够使得方程
HnΔg(i)=Δx(i),0≤i≤n−1
成立, 那么利用迭代公式
x(k+1)=x(k)−αkHkgk,αk=argmina≥0f(x(k)−αHkgk)
求解
n
维二次优化问题,可得
x(n+1)=x(n)−αnHngn
,这与牛顿法的迭代公式是一致的, 说明能够在
n+1
次迭代内完成求解。
二、 拟牛顿法的的迭代公式
拟牛顿法的的迭代公式为:
d(k)=−Hkg(k)αk=argmina≥0f(x(k)+αd(k))x(k+1)=x(k)+αkd(k)
其中,
H0,H1,H2,…
是对称矩阵。
目标函数为二次型函数时,它们必须满足
Hk+1Δg(i)=Δx(i),0≤i≤k
其中,
Δx(i)=x(i+1)−x(i)=αid(k),Δg(i)=g(i+1)−g(i)=QΔx(i)
实际上,拟牛顿法也是一种共轭方法。
三、定理
将拟牛顿法应用到二次型问题中, Hessian矩阵为
Q=QT
, 对于
0≤k≤n−1
, 有:
Hk+1Δg(i)=Δx(i),0≤i≤k
其中
Hk+1=HTk+1
。如果
αi≠0,0≤i≤k
, 那么
d(0),d(1),⋯,d(k+1)
是
Q
共轭的。
由以上定理可知,对于
n
维二次型问题,拟牛顿法最多经过
n
部迭代即可求出最优解。注意,矩阵
Hk
并不能唯一确定,这就给计算矩阵
Hk
的自由发挥空间。