矩阵分解(超全整理笔记)

矩阵分解笔记

矩阵的三个基本分解

长方阵的分解

长方阵的基本分解

定理 1.1

设 $A\in {\mathbf{C}}_r^{m\times n}$, 其中 $r=\mathrm{rank}(A)$, 则存在可逆矩阵 $P\in {\mathbf{C}}^{m\times m},Q\in {\mathbf{C}}^{n\times n}$, 使得
A = P ( I r 0 0 0 ) Q , ( r ≤ min ⁡ { m , n } ) ,  或  A = P ( I m , 0 ) Q , ( r = m < n ) ,  或  A = P ( I n 0 ) Q , ( r = n < m ) , 或  A = P Q , ( r = m = n ) . \begin{aligned} &A=P\left(\begin{array}{cc} I_{r} & 0 \\ 0 & 0 \end{array}\right) Q, \quad(r \leq \min \{m, n\}), \text { 或 } \\ &A=P\left(I_{m}, 0\right) Q, \quad(r=m<n), \text { 或 } \\ &A=P\left(\begin{array}{c} I_{n} \\ 0 \end{array}\right) Q, \quad(r=n<m) \text {, 或 } \\ &A=P Q, \quad(r=m=n) . \end{aligned} ​A=P(Ir​0​00​)Q,(r≤min{ m,n}), 或 A=P(Im​,0)Q,(r=m<n), 或 A=P(In​0​)Q,(r=n<m), 或 A=PQ,(r=m=n).​

长方阵的满秩分解

推论 1.1

设 $A\in {\mathbf{C}}_r^{m\times n}$, 其中 $r=rank(A)$, 则存在列满秩矩阵 $F\in {\mathbf{C}}_r^{m\times r}$ 和行满秩矩阵 $G\in {\mathbf{C}}_r^{r\times n}$, 使得
$$A=FG\text{. }$$

方阵的分解

Jordan 分解

定理 1.2

设 $A\in {\mathbf{C}}^{n\times n}$, 矩阵 $J$ 是 $A$ 的Jordan标准形, 则 存在可逆矩阵 $P\in {\mathbf{C}}^{n\times n}$ 使得
$$P^{-1}AP=J\text{, 即 }A=PJ{P}^{-1}$$

Schur 分解

定理 1.3

设 $A\in {\mathbf{C}}^{n\times n}$, $\Rightarrow$ 存在酉矩阵 $U\in {\mathbf{C}}^{n\times n}$, 使得 $U^{-1}AU=U^{H}AU=T$, 即 $A=UT{U}^{-1}=UT{U}^H$
$$\text{ 其中 }T=\left(\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \ast \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right)\text{ 为上三角阵, }$$
${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$ 是 $A$ 的特征值.

矩阵的三角分解

定义

定义 2.1

设 $A\in {\mathbf{C}}^{n\times n}$, 如果存在下三角矩阵 $L\in {\mathbf{C}}^{n\times n}$ 和上三角矩阵 $R\in {\mathbf{C}}^{n\times n}$, 使得
$$A=LR$$
则称上述分解为 $A$ 的三角分解, 或称 $A$ 可三角分解.

可逆矩阵的三角分解的条件

定理 2.1

设 $A\in {\mathbf{C}}_n{}^{n\times n}$,则 $A$ 可作三角分解的充分必要条件是 $A$ 的 $n$ 个顺序主子式全不为零.

此定理说明：并不是所有可逆矩阵都可以作三角分解.

例如：
矩阵 $A=\left(\begin{array}{ll}0& 1\\ 1& 0\end{array}\right)$, 就不能做三角分解.

不可逆矩阵的三角分解

定理 2.2

设 $A\in {\mathbf{C}}_r^{n\times n}$, 且 $A$ 的前 $r$ 个顺序主子式不为零, 即 ${\Delta }_k\ne 0,k=1,2,\cdots ,r$, 则 $A$ 可作三角分解.

此定理的条件仅是充分的.

例如：
矩阵 $A=\left(\begin{array}{ll}0& 0\\ 1& 2\end{array}\right)$ 的秩为 1 , 不满足定理的条件, 但 $A=\left(\begin{array}{ll}0& 0\\ 1& 2\end{array}\right)=\left(\begin{array}{ll}0& 0\\ 1& 1\end{array}\right)\left(\begin{array}{ll}1& 1\\ 0& 1\end{array}\right)$ 有三角分解.

几个特殊分解

Doolittle 分解

定义 2.2

设 $A\in {\mathbf{C}}^{n\times n}$, 如果 $A$ 可分解为 $A=LR$, 其中 $L$ 是对角元素
为1的下三角矩阵 (称为单位下三角矩阵) $R$ 是上三角矩阵, 则称上述分解为 $A$ 的 Doolittle 分解.

Crout 分解

定义 2.3

设 $A\in {\mathbf{C}}^{n\times n}$, 如果 $L$ 是下三角矩阵, $R$ 是单位上三角矩阵, 则称 上述分解为 $A$ 的 Crout 分解.

定理 2.3

设 $A\in {\mathbf{C}}_n^{n\times n}$, 且 $A$ 的顺序主子式不为零, 则 $A$ 的 Doolitte 分解与Crout分解存在且唯一

LDR 分解

定义 2.4

设 $A\in {\mathbf{C}}^{n\times n}$, 如果 $A$ 可分解为 $A=LDR$, 其中 $L$ 是单位
下三角矩阵, $R$ 是单位上三角矩阵, $D$ 是对角矩阵, 则称上述分解为 $A$ 的LDR分解.

定理 2.4

设 $A\in {\mathbf{C}}_n{}^{n\times n}$, 且 $A$ 的 $n$ 个顺序主子式 ${\Delta }_1,{\Delta }_2,\cdots ,{\Delta }_{\mathrm{n}}$ 不为零, 则 $A$ 存在唯一的LDR分解. 且对角矩阵
D = diag ⁡ { d 1 , d 2 , ⋯   , d n } D=\operatorname{diag}\left\{d_{1}, d_{2}, \cdots, d_{n}\right\} D=diag{ d1​,d2​,⋯,dn​} 的元素满足
$$d_1={\Delta }_1,d_k=\frac{{\Delta }_k}{{\Delta }_{k-1}},k=2,3,\cdots ,n$$

正定 Hermite 矩阵的三角分解

定义 2.5

设 $A\in {\mathbf{C}}^{n\times n}$, 如果存在下三角矩阵 $G\in {\mathbf{C}}^{n\times n}$, 使得
$$A=G{G}^H$$
则称上述分解为 $A$ 的 Cholesky 分解.

定理 2.5

设 $A\in {\mathbf{C}}^{n\times n}$ 是正定的Hermite矩阵,则存在下三角
矩阵 $G\in {\mathbf{C}}^{n\times n}$, 使得
$$A=G{G}^H$$
即 $A$ 可作 Cholesky 分解.

矩阵的QR分解

Householder 矩阵

定义

定义 3.1

设 $u\in {\mathbf{C}}^n$ 是单位向量, 即 $u^{H}u=\mid \mid u\mid {\mid }^2=1$, 称
$$H=I-2u{u}^H$$
为 Householder 矩阵, 或初等反射矩阵.

基本性质

定理 3.1

设 $H\in {\mathbf{C}}^{n\times n}$ 是Householder矩阵, 则

(1) $H$ 是Hermite矩阵, 即 $H^H=H$;

(2) $H$ 是酉矩阵, 即 $H^{H}H=I$;

(3) $H$ 是对合矩阵, 即 $H^2=I$;

(4) $H$ 是自逆矩阵, 即 $H^{-1}=H$;

(5) det $H=-1$;

$(6)\left(\begin{array}{cc}{I}_r& 0\\ 0& H\end{array}\right)$ 是 $n+r$ 阶 Householder 矩阵.

Householder 变换

定义 3.2

由 Householder 矩阵 $H$ 确定的 ${\mathbf{C}}^n$ 上的线性变换
$$y=Hx,$$
称为 Householder 变换或初等反射变换.

定理 3.3

设 $z\in {\mathbf{C}}^n$ 是单位向量, 则对于任意向量 $x\in {\mathbf{C}}^n$, 存在
Householder矩阵 $H=I-2u{u}^H$, 使得
$$Hx=\alpha z,$$
其中 $\mid \alpha \mid =\mid \mid x\mid \mid =\sqrt{x^{H}x}$, 且 $\alpha x^{H}z$ 为实数.

推论 3.1

对于任意向量 $x\in {\mathbf{C}}^n$, 存在 Householder矩阵 $H=I-2u{u}^H$, 使得
$$Hx=\alpha e_1\text{, }$$
其中 $\mid \alpha \mid =\mid \mid x\mid \mid =\sqrt{x^{H}x}$, 且 $\alpha x^H{e}_1$ 为实数,
$$e_1=(1,0,\cdots ,0{)}^T\text{. }$$

推论 3.2

对于任意向量 $x\in {\mathbf{R}}^n$, 存在 Householder 矩阵
$H=I-2u{u}^T,(u\in {\mathbf{R}}^n$, 且 $u^{T}u=1)$,
使得 $Hx=\alpha e_1$, 其中 $\alpha =\pm \mid \mid x\mid \mid =\sqrt{x^{T}x}$.

Notations

利用推论 1,2 , 可用 Householder 变换化向量 $x$ 与 $e_Y$ 共线, 方法:

(1)取, $u=\frac{x-\alpha e_1}{\mid \mid x-\alpha e_1\mid \mid },\mid \alpha \mid =\mid \mid x\mid \mid$, 且 $\alpha x^H{e}_1$ 为实数;

(2) 令, $H=I-2u{u}^H$, 则 $Hx=\alpha e_1$.

矩阵的 QR 分解

一般矩阵的 QR 分解

定义 3.3

设 $A\in {\mathbf{C}}^{n\times n}$, 如果存在 $n$ 阶酉矩阵 $Q$ 和 $n$ 阶上三角 矩阵 $R$, 使得
$$A=QR,$$
则称它为 $A$ 的 $QR$ 分解或酉 $-$ 三角分解.

当 $A\in {\mathbf{R}}^{n\times n}$ 时,则称它为 $A$ 的正交 $-$ 三角分解.

定理 3.4

设 $A\in {\mathbf{C}}^{n\times n}$, 则存在 $n$ 阶酉矩阵 $Q$ 及三角矩阵 $R$, 使得
$$A=QR,$$
即任意 $A\in {\mathbf{C}}^{n\times n}$ 都可作 $QR$ 分解.

推论 3.1

设 $A\in {\mathbf{R}}^{n\times n}$, 则存在 $n$ 阶正交矩阵 $Q$ 及实上三角矩阵 $R$, 使得
$$A=QR$$

可逆矩阵的 QR 分解

定理 3.5

设 $A\in {\mathbf{C}}_n^{n\times n}$, 则存在唯一的酉矩阵 $Q$ 及唯一的上三角矩阵 $R$, 使得
$$A=QR$$
这里 $\mathbf{R}\in {\mathbf{C}}_n^{n\times n}$ 是主对角线为正数的可逆上三角矩阵.

矩阵的奇异值分解

矩阵的奇异值

矩阵的酉等价

定义 4.1

设 $A,B\in {\mathbf{C}}^{m\times n}$, 如果存在 $m$ 阶酉矩阵 $U\in {\mathbf{C}}^{m\times m}$ 和 $n$ 阶酉矩阵 $V\in {\mathbf{C}}^{n\times n}$ 使得
$$B=U^{H}AV,$$
则称 $A$ 与 $B$ 酉等价.

定义 4.2

设 $A\in {\mathbf{C}}_r^{m\times n}(r>0),A^{H}A$ 的特征值为$${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_r>{\lambda }_{r+1}=\cdots ={\lambda }_n=0,$$ 则称 ${\sigma }_i=\sqrt{{\lambda }_i},(i=1,2,\cdots ,r)$ 为 $A$ 的奇异值. (一般指非零奇异值)

如 $A=\left(\begin{array}{lll}1& 0& 0\\ 2& 0& 0\end{array}\right)\in {\mathbf{C}}_1^{2\times 3}$, 则 $A^{H}A=\left(\begin{array}{lll}5& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right)$, ${\lambda }_1=5,{\lambda }_2={\lambda }_3=0,A$ 的一个奇异值为 ${\sigma }_1=\sqrt{5}$.

Notations

(1) $ r=\operatorname{rank}(A)=\operatorname{rank}\left(A^{H} A\right)=\operatorname{rank}\left(A A^{H}\right)$ $=A$ 的非零奇异值的个数.

(2) 设 $A\in {\mathbf{C}}_r^{m\times n}$, 则 $A^{H}A$ 是 $n$ 阶非负定的 Hermite 矩阵, $A{A}^H$ 是 $m$ 阶非负定的 Hermite 矩阵, 由于
$${\lambda }^m\left|\lambda I_n-A^{H}A\right|={\lambda }^n\left|\lambda I_m-A{A}^H\right|$$
不妨设 $n\ge m$, 则 $$\left|\lambda I_n-A^{H}A\right|={\lambda }^{n-m}\left|\lambda I_m-A{A}^H\right|$$ 所以, $A^{H}A$ 与 $A{A}^H$ 有相同的非零特征值; 即 $A^H$ 与 $A$ 有相同的非零奇异值.

定理 4.1

酉等价的矩阵的奇异值相同.

矩阵的奇异值分解

定理 4.2

设 $A\in {\mathbf{C}}_r^{m\times n}(r>0),{\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0$ 是 $A$ 的 $r$ 个奇异值, 则存在酉矩阵 $U\in {\mathbf{C}}^{m\times m},V\in {\mathbf{C}}^{n\times n}$, 使得
$$A=U\left(\begin{array}{ll}\Sigma & 0\\ 0& 0\end{array}\right)V^H\text{, 其中, }\Sigma =\left(\begin{array}{cccc}{\sigma }_1& & & \\ & {\sigma }_2& & \\ & & \ddots & \\ & & & {\sigma }_r\end{array}\right)$$
$\mathbf{A}=\mathbf{U}\left(\begin{array}{ll}\mathbf{\Sigma }& 0\\ 0& 0\end{array}\right)V^H$ 称为 $A$ 的奇异值分解 (SVD: Singular Value Decomposition)

推论 4.1

设 $A\in {\mathbf{C}}_n^{n\times n}$, 则存在 $n$ 阶酉矩阵 $U,V$, 使得
$$U^{H}AV=\mathrm{diag}\left({\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_n\right)$$
其中, ${\sigma }_i>0(i=1,2,\cdots ,n)$ 为 $A$ 的奇异值.

矩阵的奇异值分解的一般步骤

设 $A\in {\mathbf{C}}_r^{m\times n}(r>0)$,

(1) 求 $A^{H}A$ 的特征值 ${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_r>{\lambda }_{r+1}=\cdots ={\lambda }_n=0$, 并计算 $A$ 的奇异值 ${\sigma }_i=\sqrt{{\lambda }_i},(i=1,2,\cdots ,r)$, Σ = diag ⁡ { σ 1 , σ 2 , ⋯   , σ r } \Sigma=\operatorname{diag}\left\{\sigma_{1}, \sigma_{2}, \cdots, \sigma_{r}\right\} Σ=diag{ σ1​,σ2​,⋯,σr​}

(2)求 $A^{H}A$ 所有特征向量并正交单位化得： $P_1,P_2,\cdots ,P_n$, 则 $V=\left(P_1,P_2,\cdots ,P_n\right)$, 此时, $V^H{A}^{H}AV=\left(\begin{array}{cc}{\Sigma }^2& 0\\ 0& 0\end{array}\right)$.

(3) 分块 $V=\left(V_1,V_2\right),V_1\in {\mathbf{C}}^{n\times r}$, 计算 $U_1=A{V}_1{\Sigma }^{-1}$, 取 $U_2$, 使 $\left(U_1,U_2\right)=U$ 为酉矩阵, 则 $A=U\left(\begin{array}{cc}\Sigma & 0\\ 0& 0\end{array}\right)V^H$

置换矩阵

定义

定义 5.1

$n\times n$ 单位矩阵 $I$ 的各行按任何次序排列, 得到置换矩阵 $P$.

等价于, $n\times n$ 矩阵 $P$ 中元素有 $n$ 个 1 , 位于不同行, 不同列, 其它矩阵元素全是零.

等价于, $n\times n$ 单位矩阵 $I$ 的各列按任何次序排列.
令向量 ${\mathbf{e}}_i=[0,\dots ,\underset{\text{ 第 }i\text{ 个元索 }}{1},\dots ,0{]}^T,{\mathbf{e}}_i^T\cdot {\mathbf{e}}_j={\delta }_{ij}=\{\begin{array}{ll}1,& i=j,\\ 0,& i\ne j.\end{array}$ I = [ e 1 , … , e n ] , P = [ e i 1 , … , e i n ] , i 1 , … , i n ∈ { 1 , 2 , … , n } I=\left[e_{1}, \ldots, e_{n}\right], P=\left[e_{i_{1}}, \ldots, e_{i_{n}}\right], i_{1}, \ldots, i_{n} \in\{1,2, \ldots, n\} I=[e1​,…,en​],P=[ei1​​,…,ein​​],i1​,…,in​∈{ 1,2,…,n} 且互不相同.

性质

$n\times n$ 置换矩阵 $P$ 的性质

(1) 一共有 $n!=n(n-1)\cdots (3)(2)$ (1) 个 $n\times n$ 置换矩阵.

(2) $P_1,P_2$ 是置换矩阵, 那么 $P_1{P}_2$ 是置换矩阵.

$P_1{P}_2$ 相当于对 $P_2$ 的各行按照 $P_1$ 来排列, 所以还是置换矩阵.

(3) $P^T$ 是置换矩阵,
$P^T$ 中元素有 $n$ 个 1 , 位于不同行, 不同列, 其它矩阵元素全是零.

直接验算 $P{P}^T=P^{T}P=I$, 所以 $P^{-1}=P^T$.
$$\begin{array}{c}P=\left[e_{i_1},\dots ,e_{i_n}\right],P^T=\left[\begin{array}{c}{e}_{i_1}^T\\ ⋮\\ e_{i_n}^T\end{array}\right]\\ P^{T}P=\left[\begin{array}{c}{e}_{i_1}^T\\ ⋮\\ e_{i_n}^T\end{array}\right]\left[e_{i_1},\dots ,e_{i_n}\right]=\left[\begin{array}{ccc}{e}_{i_1}^T\cdot e_{i_1}& \cdots & e_{i_1}^T\cdot e_{i_n}\\ ⋮& \ddots & ⋮\\ e_{i_n}^T\cdot e_{i_1}& \cdots & e_{i_n}^T\cdot e_{i_n}\end{array}\right]=I.\\ P{P}^T={\left(P^T\right)}^T{P}^T=I.\end{array}$$

带⾏置换矩阵 $P$ 的$LU$ 分解

矩阵的 $LU$ 分解:

$LU$ 分解定理：如果 $n$ 阶方阵A的各阶顺序主子式 ${\Delta }_k\ne 0(K=1、2、3,\cdots ,n)$, 即A的各阶顺序主子式矩阵 $A_k$ 都可逆, 则存在唯一的单位下三角矩阵 $L$ 与唯一的非奇异上三角矩阵 $U$, 使得 $A=LU.$

上面这个 $LU$ 分解定理就是判断一个矩阵是否能 $LU$ 分解的判断条件.

对部分矩阵 $A$ 存在 $LU$ 分解, 即 $A=LU$

那么问题⼜了，如果⼀个可逆矩阵 $A$ 不满⾜所有顺序主⼦式都不等于零，那么它就⼀定不能 $LU$ 分解了吗？

⼀个矩阵 $A$ 如下

$$\mathbf{A}=\left(\begin{array}{ccc}1& -1& 2\\ -2& 2& 1\\ -3& 1& 3\end{array}\right)$$

显⽽易见，这个矩阵 $A$ 的⼆阶顺序主⼦式为 0，所以 $A$ 不能进⾏ $LU$ 分解，那么遇见这种情况我们可以交换矩阵 $A$ 的第⼆⾏和第三⾏，然后再验算⼀下，发现此时 $A$ 的所有顺序主⼦式都不为零，于是可以进⾏ $LU$分解！这就是带⾏置换矩阵 $P$ 的$LU$ 分解.

带 $P$ 的 $LU$ 分解坦白说就是将可逆⽅阵 $A$ 重新排列，使其满⾜ $LU$ 分解的条件，进⾏ $LU$ 分解。

定理 5.1

对于 $n\times n$ 可逆矩阵 $A$, 存在置换矩阵 $P$, 使得 $PA=LU$.

参考文献

[1] 李继根, 张新发编. 矩阵分析与计算. 武汉大学出版社 ,2013.

[2] 金升平. 矩阵论(MOOC). 武汉理工大学 理学院统计学系.

---

本人水平有限,若有不妥之处, 恳请批评指正.
作者: 图灵的猫

作者邮箱: [email protected]