版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/you1314520me/article/details/78857759
此博客停止更新,迁移至SnailDove’s blog,查看本文请点击此处,清华大学线性代数2笔记汇总:线性代数总结
笔记源自:清华大学公开课:线性代数2——第6讲:伪逆
**提示:**如果文中图片看不清文字,请右键单击鼠标,选择在新窗口打开图片,然后放大图片(这边上传之前都是可以看清的,由于网页正文部分大小固定,因此图片被自动缩小以便适配网页),截图部分是课堂ppt老师随手的板书。
引言
本文基础:SVD分解原理
矩阵的奇异值分解可以理解成从
Rn到
Rm的线性变换在不同基底下矩阵表示,接下来利用矩阵的奇异值分解
来定义矩阵的伪逆,然后再利用矩阵的伪逆来讨论线性方程组Ax=b无解时的最小二乘解,线性代数的中心问题是
求解线性方程组
Ax=b,最简单的情况是如果系数矩阵A是n阶的可逆矩阵,那么这时对于任意的n维向量
b,线性方程组
Ax=b有唯一的解,这个解是
A−1b,那这就启发去对于不可逆的矩阵或者是对于
Am×n的矩阵,我们来定义它的一个逆矩阵,那么这时候逆矩阵我们叫做伪逆或者是叫广义逆 。
##定义
伪逆的定义来自于奇异值分解:
(1)若
A可逆,即
r=m=n,则:
A−1=(UΣVT)−1=VΣ−1UT=A+,注意:由奇异值分解公式
AV=UΣ, (v1...vr)∈C(AT), (vr+1...vn)∈N(A), (u1...ur)∈C(A), (ur+1...um)∈N(AT) 得:
AV=UΣ:C(AT)→C(A),同理可得:
A+UT=VΣ+:C(A)→C(AT)
(2)
AA+=(UΣm×nVT)(VΣn×m+UT)=UΣm×nΣn×m+UT=U(Ir000)m×mUT 得出以下3个性质:
- 对称性:
(AA+)T=AA+
-
AA+=u1u1T+...+ururT,U=(u1,...ur,ur+1...,un)
-
AA+=Rm到
C(A)的正交投影矩阵,
AA+∣C(A)=id,AA+∣N(AT)=0
- 证明1:
AA+x=(u1u1T+...+ururT)x=(u1Tx)u1+...+(urTx)ur,由奇异值svd分解得到
V=(v1,...,vr)是
AT列空间(即
C(AT))的单位正交特征向量基,而
U=(u1,...,ur)是
C(A)的单位正交特征向量基,所以
AA+是投影到
C(A)的正交投影矩阵(即保留了
C(A)的部分),因此
AA+限制在
C(A)的变换即变成了恒等变换。而
U中
(ur+1...um)和
UT中
(ur+1...um)T即属于
N(AT)的基乘以矩阵
(Ir000)m×m中右下角的
0相当于对属于
N(AT)的部分做了零变换。
- 证明2:
A+uj=σj1vj⇒AA+uj=A(σj1vj)=σj1Avj 再根据奇异值分解中
Avj=σuj,(1≤j≤r) 得
AA+uj=uj(1≤j≤r), AA+uj=0(r+1≤j≤m)
- 验证:
(AA+)(AA+)=U(Ir000)m×mUTU(Ir000)m×mUT,由于从svd分解知道
U是单位正交特征向量基 ,因此:
UT=U−1⇒(AA+)(AA+)=U(Ir000)m×mUT=AA+,这正是投影的性质:多次投影结果还是第一次投影结果。
- 结果:
∀ p∈Rm,b=p+e,p∈C(A),e∈N(AT),AA+b=p
(3)
A+A=(VΣn×m+UT)(UΣm×nVT)=V(Ir000)n×nVT 得到以下三个性质(证明同上):
-
(A+A)T=A+A
-
A+A=v1v1T+...+vrvrT
-
A+A=Rn到
C(AT)的正交投影矩阵(
A+A∣C(AT)=id,A+A∣N(A)=0):
-
∀ x∈Rn=C(AT)⨁N(A)), x=x1,r+xr+1,n, x1,r∈C(AT), xr+1,n∈N(AT),A+Ax=A+A(x1,...xr,xr+1,...xn)=x1,r
为什么称为伪逆、左逆、右逆
##例子
注:
u1,u2,u3 是
Rm的一组基底那么它是
σ1Av1,那么很容易计算出来,是
2
1⎝⎛110⎠⎞那
u2和
u3 分别是0所对应的特征向量,
u2和
u3可以看成是三维空间里头,
u1的正交补所给出来的单位正交的向量。
特例
Jordan标准形的伪逆
推导结论:
Jn+=JnT,Jordan标准形的伪逆是它自己的转置。
##Moore-Penrose伪逆
###E.H.Moore伪逆
Penrose伪逆
注:
- A可以是mxn的复数矩阵,这样的话(3)(4)里面就变成共轭转置。
- Penrose伪逆与E.H.Moore伪逆定义是等价的。
(1)AXA=A⇒AXAX=AX⇒(AX)N=AX⇒AX 是幂等矩阵,投影矩阵
(2)XAX=X⇒XAXA=XA⇒(XA)N=XA⇒XA 是幂等矩阵,投影矩阵
(3)(AX)T=AX⇒AX 是对称矩阵
(4)(XA)T=XA⇒XA 是对称矩阵
通过奇异值分解得到的伪逆矩阵
A+,
AA+:Rm→C(A),
A+A:Rn→C(AT)=C(A+),前文已经证明两者都是对称的,所以符合Penrose对伪逆矩阵的定义。对于伪逆唯一性的证明上文图片太小可以放大来看。
伪逆的应用之最小二乘法
引言
**但是我们需要求
e 即误差最小的解!**但是这时候
Am×n不是列满秩不存在逆矩阵,于是自然地想到利用伪逆求解。
###伪逆求解正规方程——最佳最小二乘解
注:由于
A+ 来自于:
A+UT=VΣ+, (v1...vr)∈C(AT), (vr+1...vn)∈N(A), (u1...ur)∈C(A), (ur+1...um)∈N(AT),Σ+=⎝⎜⎜⎜⎜⎜⎜⎛σ11σ21..σr10⎠⎟⎟⎟⎟⎟⎟⎞n×m⇒A+:C(A)→C(AT),另外由于
ATAx=0,Ax=0 同解所以零空间相同。
最佳最小二乘解的四个基本子空间