矩阵分解相关知识点总结

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/lixujie666/article/details/85010089

〇、Gauss消去法

  对于 $n$元线性方程组
$\bm{A}\bm{x}=\bm{b}\tag{0}$

其中， $\bm{A}=(a_{ij})_{n \times n}$， $\bm{x}=(\xi_1,\xi_2,\cdots,\xi_n)^{\rm T}$， $\bm{b}=(b_1,b_2,\cdots,b_n)^{\rm T}$。Gauss消去法的基本思想是化系数矩阵 $\textbf{\textit{A}}$为上三角矩阵，或化增广矩阵 $\left[\begin{array}{c|c}\bm{A}&\bm{b}\end{array}\right]$为上阶梯形矩阵以求其解，这个过程就叫Gauss消元。

  Gauss消元过程能够进行到底的条件是当且仅当 $\bm{A}$的各阶顺序主子式都不为零，即：
$\color{#F0F}\Delta_r\neq0\quad(r=1,2,\cdots,n-1)$

一、矩阵的三角分解

$三角分解 \begin{cases} A=LDU& \text {LDU分解} \\ A=L(DU)=L\hat U & \text {Doolittle分解}\\A=(LD)U=\hat LU& \text {Crout分解} \end{cases}$

  三角分解又称作LU分解或LR分解。在上式中， $L$是单位下三角矩阵， $D$是对角矩阵， $U$是单位上三角矩阵。

分解过程：
$\color{#F00}A=A^{(0)}=L_1A^{(1)}=L_1L_2A^{(2)}=\cdots=L_1L_2\cdots L_{n-1}A^{(n-1)}=LA^{(n-1)} \tag{1}$

$L_1=\begin{bmatrix} 1 \\c_{21} & 1 \\ \vdots & & \ddots \\c_{n1} & & & 1 \end{bmatrix}$， $L_2=\begin{bmatrix} 1 \\ & 1 \\ & c_{32} & 1 \\ & \vdots & & \ddots\\ & c_{n2} & & & 1\end{bmatrix}$， $\cdots$， $L_r=\begin{bmatrix} 1 \\ & \ddots \\ & & 1 \\ & & c_{r+1,r} & 1\\ & & \vdots & &\ddots \\ & & c_{nr} & & & 1\end{bmatrix}$， $L_{n-1}=\begin{bmatrix} 1 \\ & 1 \\ & & \ddots \\ & & & 1\\ & & & c_{n,n-1} & 1\end{bmatrix}$为Frobenius矩阵，其中空白处全为 $\,0\,$， $\color{#F0F}c_{ir}=\cfrac{a_{ir}^{(r-1)}}{a_{rr}^{(r-1)}},(r=1,2,\cdots,n-1),(i=r+1,r+2,\cdots,n)$， $L_r^{-1}=\begin{bmatrix} 1 \\ & \ddots \\ & & 1 \\ & & -c_{r+1,r} & 1\\ & & \vdots & &\ddots \\ & & -c_{nr} & & & 1\end{bmatrix}$。

$L=L_1L_2\cdots L_{(n-1)}=\begin{bmatrix} 1 \\[2ex] c_{21} & 1 \\[2ex] \vdots & \vdots & \ddots \\[2ex] c_{n-1,1} & c_{n-1,2} & \cdots & 1 \\[2ex] c_{n1} & c_{n2} & \cdots & c_{n,n-1} & 1\end{bmatrix}$是一个单位下三角矩阵， $A^{(n-1)}=L_{n-1}^{-1}\cdots L_2^{-1}L_1^{-1}A^{(0)}=L^{-1}A$是一个上三角矩阵，可以分解成一个对角矩阵（ $D$）和一个单位上三角矩阵（ $U$）。

二、矩阵的Cholesky分解

  当 $A$为实对称正定矩阵时，有
$A=LDU=A^{\text T}=(LDU)^{\rm T}=U^{\rm T}DL^{\rm T},\quad D={\rm{diag}}(d_1,d_2,\cdots,d_n)$

即有： $L=U^{\rm T}$， $U=L^{\rm T}$，令 $\tilde D={\rm{diag}}(\sqrt{d_1},\sqrt{d_2},\cdots,\sqrt{d_n})$，则有：
$\color{#F00}A=LDL^{\rm T}=L\tilde D^2L^{\rm T}=(L\tilde D)(\tilde DL^{\rm T})=(L\tilde D)(L\tilde D)^{\rm T}=GG^{\rm T}\tag{2}$

其中， $G=L\tilde D$为下三角矩阵。上式即为矩阵的Cholesky分解，又称平方根分解或对称三角分解。

  Cholesky分解过程中，可以根据以下递推公式计算 $G$矩阵中每个元素的值：
$\color{#F0F}g_{ij}=\begin{cases} (a_{ii}-\sum\limits_{k=1}^{i-1}g_{ik}^2)^{1/2} & (i=j) \\[2ex] \cfrac{1}{g_{jj}}(a_{ij}-\sum\limits_{k=1}^{j-1}g_{ik}g_{jk}) &(i>j) \\[2ex] \quad0 & (i<j) \end{cases}$

当然也可以先对矩阵 $A$做LDU分解，然后取 $G=L\tilde D$。

三、矩阵的QR分解

3.1、Givens矩阵与Givens变换

  设非零列向量 $\bm{x}\in {\bf{R}}^n$及单位列向量 $\bm{z}\in {\bf{R}}^n$，存在有限个Givens矩阵的乘积，记作 $\bm{T}$，使得
$\color{#F00}\bm{T}\bm{x}=|\bm{x}|\bm{z}\tag{3}$

上式即为Givens变换，也称初等旋转变换，其中Givens矩阵，也称初等旋转矩阵，记作 $\color{#F0F}\bm{T}_{ij}=\bm{T}_{ij}(c,s)=\begin{bmatrix} \bm{I} \\[1ex] & c & & s & \\[1.2ex] & & \bm{I} \\[1.2ex] & -s& & c \\[1.2ex] & & & & \bm{I} \end{bmatrix}$， $\bm{T}=\bm{T}_{1n}\bm{T}_{1,n-1}\cdots \bm{T}_{13}\bm{T}_{12}$。

  对于非零列向量 $\bm{x}=(\xi_1,\xi_2,\cdots,\xi_n)^{\rm T}$，及单位列向量 $\bm{z}=\bm{e}_1=(1,0,\cdots,0)^{\rm T}$，其Givens变换过程如下：

• 首先对 $\bm{x}$构造Givens矩阵 $\bm{T}_{12}(c,s)=\begin{bmatrix} c&s \\-s & c\\ & & \bm{I} \end{bmatrix}$，其中 $c=\cfrac{\xi_1}{\sqrt{\xi_1^2+\xi_2^2}}\,,\,s=\cfrac{\xi_2}{\sqrt{\xi_1^2+\xi_2^2}}$，有
  $\bm{T}_{12}\bm{x}=(\sqrt{\xi_1^2+\xi_2^2},0,\xi_3,\cdots,\xi_n)^{\rm T}$

• 再对 $\bm{T}_{12}\bm{x}$构造Givens矩阵 $\bm{T}_{13}(c,s)=\begin{bmatrix} c& &s \\ &1& \\-s & & c\\ & & & \bm{I} \end{bmatrix}$，其中 $c=\cfrac{\sqrt{\xi_1^2+\xi_2^2}}{\sqrt{\xi_1^2+\xi_2^2+\xi_3^2}}\,,\,s=\cfrac{\xi_3}{\sqrt{\xi_1^2+\xi_2^2+\xi_3^2}}$，有
  $\bm{T}_{13}(\bm{T}_{12}\bm{x})=(\sqrt{\xi_1^2+\xi_2^2+\xi_3^2},0,0,\xi_4,\cdots,\xi_n)^{\rm T}$

• 如此下去，最后对 $\bm{T}_{1,n-1}\bm{T}_{1,n-2}\cdots \bm{T}_{13}\bm{T}_{12}\bm{x}$构造Givens矩阵 $\bm{T}_{1n}(c,s)=\begin{bmatrix} c& &s \\ & \bm{I}& \\-s & & c \end{bmatrix}$，其中 $\color{#F0F}c=\cfrac{\sqrt{\xi_1^2+\cdots+\xi_{n-1}^2}}{\sqrt{\xi_1^2+\xi_2^2+\cdots+\xi_{n-1}^2+\xi_{n}^2}}\,,\,s=\cfrac{\xi_n}{\sqrt{\xi_1^2+\xi_2^2+\cdots+\xi_{n-1}^2+\xi_{n}^2}}$，有
  $\bm{T}_{1n}(\bm{T}_{1,n-1}\cdots \bm{T}_{12}\bm{x})=(\sqrt{\xi_1^2+\xi_2^2+\cdots+\xi_{n-1}^2+\xi_{n}^2},0,\cdots,0)^{\rm T}$

令 $\bm{T}=\bm{T}_{1n}\bm{T}_{1,n-1}\cdots \bm{T}_{12}$，有 $\bm{T}\bm{x}=|\bm{x}|\bm{z}=|\bm{x}|\bm{e}_1$，即通过有限个Givens矩阵 $\bm{T}\,$将 $\bm{x}\,$变换为与 $\bm{z}\,$同方向的向量。

3.2、Householder矩阵与Householder变换

  任意给定非零列向量 $\bm{x}\in {\bf{R}}^n\;(n>1)$及单位列向量 $\bm{z}\in {\bf{R}}^n$，则存在矩阵 $\bm{H}$，使得
$\color{#F00}\bm{H}=|\bm{x}|\bm{z}\tag{4}$

上式即为Householder变换，也称初等反射变换，其中 $\color{#F0F}\bm{H}=\bm{I}-2\bm{uu}^{\rm T}$，为Householder矩阵，也称初等反射矩阵。

  对于非零列向量 $\bm{x}=(\xi_1,\xi_2,\cdots,\xi_{n-1},\xi_n)^{\rm T}$及单位列向量 $\bm{z}=\textbf{\textit{e}}_1=(1,0,\cdots,0)^{\rm T}$，其Householder变换过程如下：

  取 $\color{#F0F}\bm{u}=\cfrac{\bm{x}-|\bm{x}|\bm{z}}{|\bm{x}-|\bm{x}|\bm{z}|}=\cfrac{\bm{x}-|\bm{x}|\bm{e}_1}{|\bm{x}-|\bm{x}|\bm{e}_1|}$，其中 $|\bm{x}|=\sqrt{\xi_1^2+\xi_2^2+\cdots+\xi_{n-1}^2+\xi_{n}^2}$，则 $\bm{H}=\bm{I}-2\bm{uu}^{\rm T}$， $\bm{Hx}=|\bm{x}|\bm{z}=|\bm{x}|\bm{e}_1$，即通过Householder矩阵 $\bm{H}\,$将 $\bm{x}\,$变换为与 $\bm{z}\,$同方向的向量。

	Givens矩阵 $\textbf{\textit{T}}_{ij}\,$具有如下性质	Householder矩阵 $\textbf{\textit{H}}\,$具有如下性质
(1)	$\bm{T}_{ij}=-\bm{T}_{ij}^{\rm T}=-\bm{T}_{ij}^{-1}$	$\bm{H}=\bm{H}^{\rm T}=\bm{H}^{-1}$
(2)	$\bm{T}_{ij}^{2}=-\bm{T}_{ij}^{\rm T}\bm{T}_{ij}=-\bm{T}_{ij}^{-1}\bm{T}_{ij}=-\bm{I}$	$\bm{H}^2=\bm{H}^{\rm T}\bm{H}=\bm{H}^{-1}\bm{H}=\bm{I}$
(3)	$\rm{det}\bm{T}_{ij}=1$	$\rm{det}\bm{H}=-1$

$\color{#F00}初等旋转矩阵是两个初等反射矩阵的乘积，即有\bm{T}_{ij}=\bm{H}_v\bm{H}_u\tag{5}$

3.3、QR分解

  设 $A$是 $m\times n$实（复）矩阵，且其 $n$个列线性无关，则 $A$有分解
$\color{#F00}A=QR\tag{6}$

其中 $Q$是 $m\times n$实（复）矩阵，且满足 $Q^{\text T}Q=I$（ $Q^{\text H}Q=I$）， $R$是 $n$阶实（复）可逆上三角矩阵。上式即为矩阵的QR分解，也称正交三角分解，该分解除去相差一个对角元素的绝对值（模）全等于1的对角矩阵因子外是唯一的。

  对于任意的 $n$阶实可逆矩阵 $A=(a_{ij})_{n \times n}$，均可通过左连乘Givens矩阵（初等旋转矩阵）或左连乘Householder矩阵（初等反射矩阵），将其化为可逆上三角矩阵。

  完成矩阵的QR分解有三种常用的方法：Schmidt正交化方法，Givens变换方法和Householder变换方法。下面通过一个具体实例，将矩阵 $A=\begin{bmatrix} 1 & 2 & 2 \\ 2 & 1 & 2 \\ 1 & 2 & 1 \end{bmatrix}$分别用上述三种方法进行QR分解。

Schmidt正交化方法：

  令 $\bm{a}_1=(1,2,1)^{\rm T},\,\bm{a}_2=(2,1,2)^{\rm T},\,\bm{a}_3=(2,2,1)^{\rm T}$，将其Schmidt正交化可得：
$\begin{array}{l}\bm{b}_1=\bm{a}_1=(1,2,1)^{\rm T}\\[2ex] \bm{b}_2=\bm{a}_2-\cfrac{(\bm{a}_2,\bm{b}_1)}{(\bm{b}_1,\bm{b}_1)}\bm{b}_1=\bm{a}_2-\bm{b}_1=(1,-1,1)^{\rm T}\\[2ex] \bm{b}_3=\bm{a}_3-\cfrac{(\bm{a}_3,\bm{b}_1)}{(\bm{b}_1,\bm{b}_1)}\bm{b}_1-\cfrac{(\bm{a}_3,\bm{b}_2)}{(\bm{b}_2,\bm{b}_2)}\bm{b}_2=\bm{a}_3-\cfrac{1}{3}\bm{b}_2-\cfrac{7}{6}\bm{b}_1=(\cfrac{1}{2},0,-\cfrac{1}{2})^{\rm T}\end{array}$

进而有：
$(\bm{a}_1,\bm{a}_2,\bm{a}_3)= (\bm{b}_1,\bm{b}_2,\bm{b}_3)\cdot C=(\bm{b}_1,\bm{b}_2,\bm{b}_3) \begin{bmatrix} 1 & 1 & \cfrac{7}{6} \\[2ex] 0 & 1 & \cfrac{1}{3} \\[2ex] 0 & 0 & 1 \end{bmatrix}$

  取：
$\begin{array}{l}\bm{q}_1=\cfrac{1}{|\bm{b}_1|}|\bm{b}_1|=\cfrac{1}{\sqrt{6}}(1,2,1)^{\rm T}\\[2ex] \bm{q}_2=\cfrac{1}{|\bm{b}_2|}|\bm{b}_2|=\cfrac{1}{\sqrt{3}}(1,-1,1)^{\rm T}\\[2ex] \bm{q}_3=\cfrac{1}{|\bm{b}_3|}|\bm{b}_3|=\cfrac{1}{\sqrt{2}}(1,0,-1)^{\rm T}\end{array}$

  令：
$\begin{array}{l} Q=(\bm{q}_1,\bm{q}_2,\bm{q}_3)= \begin{bmatrix} \cfrac{1}{\sqrt{6}} & \cfrac{1}{\sqrt{3}} & \cfrac{1}{\sqrt{2}} \\ \cfrac{2}{\sqrt{6}} & -\cfrac{1}{\sqrt{3}} & 0 \\ \cfrac{1}{\sqrt{6}} & \cfrac{1}{\sqrt{3}} & -\cfrac{1}{\sqrt{2}} \end{bmatrix}\\ R=\rm{diag}(|\bm{b}_1|,|\bm{b}_2|,|\bm{b}_3|)\cdot C= \begin{bmatrix} \sqrt{6} & 0 & 0 \\ 0 & \sqrt{3} & 0 \\ 0 & 0 & \sqrt{2} \end{bmatrix} \begin{bmatrix} 1 & 1 & \cfrac{7}{6} \\[2ex] 0 & 1 & \cfrac{1}{3} \\[2ex] 0 & 0 & 1 \end{bmatrix}= \begin{bmatrix} \sqrt{6} & \sqrt{6} & \cfrac{7}{\sqrt{6}} \\[2ex] 0 & \sqrt{3} & \cfrac{1}{\sqrt{3}} \\[2ex] 0 & 0 & \cfrac{1}{\sqrt{2}} \end{bmatrix} \end{array}$

则有 $A=QR$。

Givens变换方法：
  第1步，对 $A^{(0)}=A=\left[\begin{array}{c:cc}1 & 2 & 2 \\ 2 & 1 & 2 \\ 1 & 2 & 1 \end{array}\right]$的第1列 $\bm{b}^{(1)}=\begin{bmatrix} 1 \\ 2 \\ 1 \end{bmatrix}$构造旋转矩阵 $T_1$，使 $T_1\bm{b}^{(1)}=|\bm{b}^{(1)}|\bm{e}_1$：

$T_1=T_{13}T_{12}=\begin{bmatrix} \cfrac{\sqrt{5}}{\sqrt{6}} & 0 & \cfrac{1}{\sqrt{6}} \\ 0 & 1 & 0 \\ -\cfrac{1}{\sqrt{6}} & 0 & \cfrac{\sqrt{5}}{\sqrt{6}} \end{bmatrix} \begin{bmatrix} \cfrac{1}{\sqrt{5}} & \cfrac{2}{\sqrt{5}} & 0 \\ -\cfrac{2}{\sqrt{5}} & \cfrac{1}{\sqrt{5}} & 0 \\ 0 & 0 & 1 \end{bmatrix} =\begin{bmatrix} \cfrac{1}{\sqrt{6}} & \cfrac{2}{\sqrt{6}} & \cfrac{1}{\sqrt{6}} \\ -\cfrac{2}{\sqrt{5}} & \cfrac{1}{\sqrt{5}} & 0 \\ -\cfrac{1}{\sqrt{30}} & -\cfrac{2}{\sqrt{30}} & \cfrac{\sqrt{5}}{\sqrt{6}} \end{bmatrix}$

$T_{1}\bm{b}^{(1)}=\begin{bmatrix} \cfrac{1}{\sqrt{6}} & \cfrac{2}{\sqrt{6}} & \cfrac{1}{\sqrt{6}} \\ -\cfrac{2}{\sqrt{5}} & \cfrac{1}{\sqrt{5}} & 0 \\ -\cfrac{1}{\sqrt{30}} & -\cfrac{2}{\sqrt{30}} & \cfrac{\sqrt{5}}{\sqrt{6}} \end{bmatrix} \begin{bmatrix} 1 \\ 2 \\ 1 \end{bmatrix}=\begin{bmatrix} \sqrt{6} \\ 0 \\ 0 \end{bmatrix}$

$T_{1}A^{(0)}=\begin{bmatrix} \cfrac{1}{\sqrt{6}} & \cfrac{2}{\sqrt{6}} & \cfrac{1}{\sqrt{6}} \\ -\cfrac{2}{\sqrt{5}} & \cfrac{1}{\sqrt{5}} & 0 \\ -\cfrac{1}{\sqrt{30}} & -\cfrac{2}{\sqrt{30}} & \cfrac{\sqrt{5}}{\sqrt{6}} \end{bmatrix} \begin{bmatrix} 1&2&2 \\ 2&1&2 \\ 1&2&1 \end{bmatrix} =\left[\begin{array}{c:cc} \sqrt{6} & \sqrt{6} & \cfrac{7}{\sqrt{6}} \\\hdashline 0 & -\cfrac{3}{\sqrt{5}} & -\cfrac{2}{\sqrt{5}} \\ 0 & \cfrac{6}{\sqrt{30}} & -\cfrac{1}{\sqrt{30}} \end{array}\right]$

  第2步，对 $A^{(1)}=\left[\begin{array}{c:c} -\cfrac{3}{\sqrt{5}} & -\cfrac{2}{\sqrt{5}} \\ \cfrac{6}{\sqrt{30}} & -\cfrac{1}{\sqrt{30}} \end{array}\right]$的第1列 $\bm{b}^{(2)}=\begin{bmatrix} -\cfrac{3}{\sqrt{5}} \\ \cfrac{6}{\sqrt{30}} \end{bmatrix}$构造旋转矩阵 $T_2$，使 $T_2\bm{b}^{(2)}=|\bm{b}^{(2)}|\bm{e}_1$：

$T_2=T_{12}=\begin{bmatrix} -\cfrac{\sqrt{3}}{\sqrt{5}} & \cfrac{2}{\sqrt{10}} \\ -\cfrac{2}{\sqrt{10}} & -\cfrac{\sqrt{3}}{\sqrt{5}} \end{bmatrix}$

$T_2\bm{b}^{(2)}=\begin{bmatrix} -\cfrac{\sqrt{3}}{\sqrt{5}} & \cfrac{2}{\sqrt{10}} \\ -\cfrac{2}{\sqrt{10}} & -\cfrac{\sqrt{3}}{\sqrt{5}} \end{bmatrix} \begin{bmatrix} -\cfrac{3}{\sqrt{5}} \\ \cfrac{6}{\sqrt{30}} \end{bmatrix} =\begin{bmatrix} {\sqrt{3}} \\ 0 \end{bmatrix}$

$T_2A^{(1)}=\begin{bmatrix} -\cfrac{\sqrt{3}}{\sqrt{5}} & \cfrac{2}{\sqrt{10}} \\ -\cfrac{2}{\sqrt{10}} & -\cfrac{\sqrt{3}}{\sqrt{5}} \end{bmatrix} \begin{bmatrix} -\cfrac{3}{\sqrt{5}} & -\cfrac{2}{\sqrt{5}} \\ \cfrac{6}{\sqrt{30}} & -\cfrac{1}{\sqrt{30}} \end{bmatrix} =\begin{bmatrix} {\sqrt{3}} & \cfrac{1}{\sqrt{3}} \\ 0 & \cfrac{1}{\sqrt{2}} \end{bmatrix}$

  最后，令
$T=\begin{bmatrix}1&O^{\text T}\\[2ex]O&T_2\end{bmatrix}T_1 =\begin{bmatrix} 1&0&0\\0&-\cfrac{\sqrt{3}}{\sqrt{5}} & \cfrac{2}{\sqrt{10}} \\ 0&-\cfrac{2}{\sqrt{10}} & -\cfrac{\sqrt{3}}{\sqrt{5}} \end{bmatrix} \begin{bmatrix} \cfrac{1}{\sqrt{6}} & \cfrac{2}{\sqrt{6}} & \cfrac{1}{\sqrt{6}} \\ -\cfrac{2}{\sqrt{5}} & \cfrac{1}{\sqrt{5}} & 0 \\ -\cfrac{1}{\sqrt{30}} & -\cfrac{2}{\sqrt{30}} & \cfrac{\sqrt{5}}{\sqrt{6}} \end{bmatrix} =\begin{bmatrix} \cfrac{1}{\sqrt{6}} & \cfrac{2}{\sqrt{6}} & \cfrac{1}{\sqrt{6}} \\ \cfrac{1}{\sqrt{3}} & -\cfrac{1}{\sqrt{3}} & \cfrac{1}{\sqrt{3}} \\ \cfrac{1}{\sqrt{2}} & 0 & -\cfrac{1}{\sqrt{2}} \end{bmatrix}$

$Q=T^{\text T}= =\begin{bmatrix} \cfrac{1}{\sqrt{6}} & \cfrac{1}{\sqrt{3}} & \cfrac{1}{\sqrt{2}} \\ \cfrac{2}{\sqrt{6}} & -\cfrac{1}{\sqrt{3}} & 0 \\ \cfrac{1}{\sqrt{6}} & \cfrac{1}{\sqrt{3}} & -\cfrac{1}{\sqrt{2}} \end{bmatrix},\quad R=TA=\begin{bmatrix} \sqrt{6} & \sqrt{6} & \cfrac{7}{\sqrt{6}} \\ 0 & {\sqrt{3}} & \cfrac{1}{\sqrt{3}} \\ 0 & 0 & \cfrac{1}{\sqrt{2}} \end{bmatrix}$

则有 $A=QR$。

Householder变换方法：
  第1步，对 $A^{(0)}=A=\left[\begin{array}{c:cc}1 & 2 & 2 \\ 2 & 1 & 2 \\ 1 & 2 & 1 \end{array}\right]$的第1列 $\bm{b}^{(1)}=\begin{bmatrix} 1 \\ 2 \\ 1 \end{bmatrix}$构造Householder矩阵 $H_1$，使 $H_1\bm{b}^{(1)}=|\bm{b}^{(1)}|\bm{e}_1$：
$\bm{b}^{(1)}-|\bm{b}^{(1)}|\bm{e}_1=\begin{bmatrix} 1 \\ 2 \\ 1 \end{bmatrix}-\sqrt{6}\begin{bmatrix} 1 \\ 0 \\ 0 \end{bmatrix}=\begin{bmatrix} 1-\sqrt{6} \\ 2 \\ 1 \end{bmatrix}$

$\bm{u}=\cfrac{\bm{b}^{(1)}-|\bm{b}^{(1)}|\bm{e}_1}{|\bm{b}^{(1)}-|\bm{b}^{(1)}|\bm{e}_1|}= \cfrac{1}{\sqrt{12-2\sqrt{6}}}\begin{bmatrix} 1-\sqrt{6} \\ 2 \\ 1 \end{bmatrix}$

$H_1=I-2\bm{uu}^{\rm T}=\begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix}- \cfrac{1}{6-\sqrt{6}}\begin{bmatrix} 1-\sqrt{6} \\ 2 \\ 1 \end{bmatrix}\begin{bmatrix} 1-\sqrt{6} & 2 & 1 \end{bmatrix}= \begin{bmatrix} \cfrac{1}{\sqrt{6}} & \cfrac{2}{\sqrt{6}} & \cfrac{1}{\sqrt{6}} \\ \cfrac{2}{\sqrt{6}} & \cfrac{\sqrt{6}-2}{\sqrt{6}-6} & \cfrac{2}{\sqrt{6}-6} \\ \cfrac{1}{\sqrt{6}} & \cfrac{2}{\sqrt{6}-6} & \cfrac{\sqrt{6}-5}{\sqrt{6}-6} \end{bmatrix}$

$H_1A^{(0)}=\begin{bmatrix} \cfrac{1}{\sqrt{6}} & \cfrac{2}{\sqrt{6}} & \cfrac{1}{\sqrt{6}} \\ \cfrac{2}{\sqrt{6}} & \cfrac{\sqrt{6}-2}{\sqrt{6}-6} & \cfrac{2}{\sqrt{6}-6} \\ \cfrac{1}{\sqrt{6}} & \cfrac{2}{\sqrt{6}-6} & \cfrac{\sqrt{6}-5}{\sqrt{6}-6} \end{bmatrix} \begin{bmatrix} 1 & 2 & 2 \\ 2 & 1 & 2 \\ 1 & 2 & 1 \end{bmatrix}= \left[\begin{array}{c:cc} {\sqrt{6}} & {\sqrt{6}} & \cfrac{7}{\sqrt{6}} \\\hdashline 0 & \cfrac{3-\sqrt{6}}{\sqrt{6}-1} & \cfrac{2}{\sqrt{6}} \\ 0 & \cfrac{\sqrt{6}}{\sqrt{6}-1} & \cfrac{1}{\sqrt{6}} \end{array}\right]$

  第2步，对 $A^{(1)}=\left[\begin{array}{c:c} \cfrac{3-\sqrt{6}}{\sqrt{6}-1} & \cfrac{2}{\sqrt{6}} \\ \cfrac{\sqrt{6}}{\sqrt{6}-1} & \cfrac{1}{\sqrt{6}} \end{array}\right]$的第1列 $\bm{b}^{(2)}=\begin{bmatrix} \cfrac{3-\sqrt{6}}{\sqrt{6}-1} \\ \cfrac{\sqrt{6}}{\sqrt{6}-1} \end{bmatrix}$构造Householder矩阵 $H_2$，使 $H_2\bm{b}^{(2)}=|\bm{b}^{(2)}|\bm{e}_1$：
$\bm{b}^{(2)}-|\bm{b}^{(2)}|\bm{e}_1=\begin{bmatrix} \cfrac{3-\sqrt{6}}{\sqrt{6}-1} \\ \cfrac{\sqrt{6}}{\sqrt{6}-1} \end{bmatrix}- \cfrac{\sqrt{21-6\sqrt{6}}}{\sqrt{6}-1} \begin{bmatrix} 1 \\ 0 \end{bmatrix} =\begin{bmatrix} \cfrac{3-\sqrt{6}-\sqrt{21-6\sqrt{6}}}{\sqrt{6}-1} \\ \cfrac{\sqrt{6}}{\sqrt{6}-1} \end{bmatrix} =\begin{bmatrix} \cfrac{x}{\sqrt{6}-1} \\ \cfrac{\sqrt{6}}{\sqrt{6}-1} \end{bmatrix}$

$\bm{u}=\cfrac{\bm{b}^{(2)}-|\bm{b}^{(2)}|\bm{e}_1}{|\bm{b}^{(2)}-|\bm{b}^{(2)}|\bm{e}_1|}= \cfrac{\sqrt{6}-1}{\sqrt{x^2+6}} \begin{bmatrix} \cfrac{x}{\sqrt{6}-1} \\ \cfrac{\sqrt{6}}{\sqrt{6}-1} \end{bmatrix} =\begin{bmatrix} \cfrac{x}{\sqrt{x^2+6}} \\ \cfrac{\sqrt{6}}{\sqrt{x^2+6}} \end{bmatrix}$

$H_2=I-2\bm{uu}^{\text T}=\begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}- 2\begin{bmatrix} \cfrac{x}{\sqrt{x^2+6}} \\ \cfrac{\sqrt{6}}{\sqrt{x^2+6}} \end{bmatrix} \begin{bmatrix} \cfrac{x}{\sqrt{x^2+6}} & \cfrac{\sqrt{6}}{\sqrt{x^2+6}} \end{bmatrix}= \begin{bmatrix} \cfrac{6-x^2}{{x^2+6}} & \cfrac{-2\sqrt{6}x}{{x^2+6}} \\[2ex] \cfrac{-2\sqrt{6}x}{{x^2+6}} & \cfrac{x^2-6}{{x^2+6}} \end{bmatrix}$

$H_2A^{(1)}=\begin{bmatrix} \cfrac{6-x^2}{{x^2+6}} & \cfrac{-2\sqrt{6}x}{{x^2+6}} \\[2ex] \cfrac{-2\sqrt{6}x}{{x^2+6}} & \cfrac{x^2-6}{{x^2+6}} \end{bmatrix} \begin{bmatrix} \cfrac{3-\sqrt{6}}{\sqrt{6}-1} & \cfrac{2}{\sqrt{6}} \\ \cfrac{\sqrt{6}}{\sqrt{6}-1} & \cfrac{1}{\sqrt{6}} \end{bmatrix} =\begin{bmatrix} {\sqrt{3}} & \cfrac{1}{\sqrt{3}} \\ 0 & \cfrac{1}{\sqrt{2}} \end{bmatrix}$

  最后，令
$S=\begin{bmatrix}1&O^{\text T}\\[2ex]O&H_2\end{bmatrix}H_1 =\begin{bmatrix} 1&0&0\\[2ex]0&\cfrac{6-x^2}{{x^2+6}} & \cfrac{-2\sqrt{6}x}{{x^2+6}} \\[2ex] 0&\cfrac{-2\sqrt{6}x}{{x^2+6}} & \cfrac{x^2-6}{{x^2+6}}\end{bmatrix} \begin{bmatrix} \cfrac{1}{\sqrt{6}} & \cfrac{2}{\sqrt{6}} & \cfrac{1}{\sqrt{6}} \\ \cfrac{2}{\sqrt{6}} & \cfrac{\sqrt{6}-2}{\sqrt{6}-6} & \cfrac{2}{\sqrt{6}-6} \\ \cfrac{1}{\sqrt{6}} & \cfrac{2}{\sqrt{6}-6} & \cfrac{\sqrt{6}-5}{\sqrt{6}-6} \end{bmatrix} =\begin{bmatrix} \cfrac{1}{\sqrt{6}} & \cfrac{2}{\sqrt{6}} & \cfrac{1}{\sqrt{6}} \\ \cfrac{1}{\sqrt{3}} & -\cfrac{1}{\sqrt{3}} & \cfrac{1}{\sqrt{3}} \\ \cfrac{1}{\sqrt{2}} & 0 & -\cfrac{1}{\sqrt{2}} \end{bmatrix}$

$Q=S^{\rm T}= =\begin{bmatrix} \cfrac{1}{\sqrt{6}} & \cfrac{1}{\sqrt{3}} & \cfrac{1}{\sqrt{2}} \\ \cfrac{2}{\sqrt{6}} & -\cfrac{1}{\sqrt{3}} & 0 \\ \cfrac{1}{\sqrt{6}} & \cfrac{1}{\sqrt{3}} & -\cfrac{1}{\sqrt{2}} \end{bmatrix},\quad R=SA=\begin{bmatrix} \sqrt{6} & \sqrt{6} & \cfrac{7}{\sqrt{6}} \\ 0 & {\sqrt{3}} & \cfrac{1}{\sqrt{3}} \\ 0 & 0 & \cfrac{1}{\sqrt{2}} \end{bmatrix}$

则有 $A=QR$。（感兴趣的读者可用MATLAB验证结果，没想到一个小小的矩阵计算这么复杂(╯﹏╰)）

四、矩阵的满秩分解

  设 $A\in C_r^{m\times n}(r>0)$，存在矩阵 $F\in C_r^{m\times r}$和 $G\in C_r^{r\times n}$，使得
$\color{#F00}A=FG\tag{7}$

其中 $r$为矩阵的秩， $F$是列满秩矩阵， $G$是行满秩矩阵，上式即为矩阵的满秩分解。当 $A$是满秩（列满秩或行满秩）矩阵时， $A$可分解为一个因子是单位矩阵，另一个因子是 $A$本身，称此满秩分解为平凡分解。

五、矩阵的奇异值分解

  设 $A\in C_r^{m\times n}(r>0)$，则存在 $m$阶酉矩阵 $U$和 $n$阶酉矩阵 $V$，使得
$\color{#F00}A=UDV^{\rm H}=U \begin{bmatrix} {\mathit\Sigma} & O \\ O & O \end{bmatrix} V^{\rm H}\tag{8}$

其中， $V^{\rm H}$代表酉矩阵 $V$的共轭转置， $\color{#F0F}{\mathit\Sigma}={\rm{diag}}(\sigma_1,\sigma_2,\cdots,\sigma_r)$， $\sigma_i(i=1,2,\cdots,r)$为矩阵 $A$的全部非零奇异值。上式即为矩阵的奇异值分解（Singular Value Decomposition，简称SVD分解），当 $A$为实对称矩阵时，也称正交对角分解。

  矩阵的奇异值分解在最优化问题、特征值问题、最小二乘问题、广义逆矩阵问题及统计学等方面都有重要应用。下面通过一个具体实例，将矩阵 $A=\begin{bmatrix} 1 & 0 \\ 0 & 1 \\ 1 & 1 \end{bmatrix}$进行SVD分解。

• 首先计算 $A^{\rm T}A=\begin{bmatrix}1&0&1\\0&1&1\end{bmatrix}\begin{bmatrix} 1 & 0 \\ 0 & 1 \\ 1 & 1 \end{bmatrix}=\begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix}$

• 对矩阵 $A^{\rm T}A$，由 $|\lambda I-A^{\rm T}A|=\begin{vmatrix} \lambda-2 & -1 \\ -1 & \lambda-2 \\ \end{vmatrix}=(\lambda-1)(\lambda-3)=0$，得特征值 $\lambda_1=1,\,\lambda_2=3$，对应的特征向量分别为：

$\bm \xi_1=k_1\begin{bmatrix} 1 \\ -1 \\ \end{bmatrix},\quad\bm \xi_1=k_2\begin{bmatrix} 1 \\ 1 \\ \end{bmatrix}$

• 于是有

$\begin{array}{l} \mathit\Sigma={\rm diag}(\sqrt{\lambda_1},\sqrt{\lambda_2})= \begin{bmatrix} 1 & 0 \\ 0 & \sqrt{3} \end{bmatrix}\\ D=\begin{bmatrix} {\mathit\Sigma} & O \\ O & O \end{bmatrix}=\begin{bmatrix} 1 & 0 \\ 0 & \sqrt{3} \\0 & 0\end{bmatrix}\\ V= \begin{bmatrix} \cfrac{\bm \xi_1}{\|\bm \xi_1\|} & \cfrac{\bm \xi_2}{\|\bm \xi_2\|} \end{bmatrix}= \begin{bmatrix} \cfrac{1}{\sqrt{2}} & \cfrac{1}{\sqrt{2}} \\ -\cfrac{1}{\sqrt{2}} & \cfrac{1}{\sqrt{2}} \end{bmatrix},\;\text{这里$V$可以有四种解} \end{array}$

• 计算

$U_1=AV{\mathit\Sigma}^{-1}=\begin{bmatrix} 1 & 0 \\ 0 & 1 \\ 1 & 1 \end{bmatrix} \begin{bmatrix} \cfrac{1}{\sqrt{2}} & \cfrac{1}{\sqrt{2}} \\ -\cfrac{1}{\sqrt{2}} & \cfrac{1}{\sqrt{2}} \end{bmatrix} \begin{bmatrix} 1 & 0 \\ 0 & \cfrac{1}{\sqrt{3}} \end{bmatrix}= \begin{bmatrix} \cfrac{1}{\sqrt{2}} & \cfrac{1}{\sqrt{6}} \\ -\cfrac{1}{\sqrt{2}} & \cfrac{1}{\sqrt{6}} \\ 0 & \cfrac{2}{\sqrt{6}} \end{bmatrix}$

• 构造一个列向量 $U_2=[\alpha_1,\alpha_2,\alpha_3]^{\rm T}$，使得 $U=\left[\begin{array}{c|c}U_1&U_2\end{array}\right]=\begin{bmatrix} \cfrac{1}{\sqrt{2}} & \cfrac{1}{\sqrt{6}} & \alpha_1 \\ -\cfrac{1}{\sqrt{2}} & \cfrac{1}{\sqrt{6}} & \alpha_2 \\ 0 & \cfrac{2}{\sqrt{6}} & \alpha_3\end{bmatrix}$为酉矩阵，即有：

$\begin{bmatrix} \cfrac{1}{\sqrt{2}} & -\cfrac{1}{\sqrt{2}} & 0\\ \cfrac{1}{\sqrt{6}} & \cfrac{1}{\sqrt{6}} & \cfrac{2}{\sqrt{6}} \end{bmatrix} \begin{bmatrix} \alpha_1 \\ \alpha_2 \\ \alpha_3 \end{bmatrix}={\bf 0},\quad且\sqrt{\alpha_1^2+\alpha_2^2+\alpha_3^2}=1$

得 $\;U_2=\pm\begin{bmatrix} \cfrac{1}{\sqrt{3}} & \cfrac{1}{\sqrt{3}} & -\cfrac{1}{\sqrt{3}} \end{bmatrix}$

取 $U=\begin{bmatrix} \cfrac{1}{\sqrt{2}} & \cfrac{1}{\sqrt{6}} & \cfrac{1}{\sqrt{3}} \\ -\cfrac{1}{\sqrt{2}} & \cfrac{1}{\sqrt{6}} & \cfrac{1}{\sqrt{3}} \\ 0 & \cfrac{2}{\sqrt{6}} & -\cfrac{1}{\sqrt{3}}\end{bmatrix},\;\text{这里$U$可以有两种解}$

• 最后， $A$的SVD分解为：

$A=UDV^{\rm T}=\begin{bmatrix} \cfrac{1}{\sqrt{2}} & \cfrac{1}{\sqrt{6}} & \cfrac{1}{\sqrt{3}} \\ -\cfrac{1}{\sqrt{2}} & \cfrac{1}{\sqrt{6}} & \cfrac{1}{\sqrt{3}} \\ 0 & \cfrac{2}{\sqrt{6}} & -\cfrac{1}{\sqrt{3}}\end{bmatrix}\begin{bmatrix} 1 & 0 \\ 0 & \sqrt{3} \\0 & 0\end{bmatrix}\begin{bmatrix} \cfrac{1}{\sqrt{2}} & \cfrac{1}{\sqrt{2}} \\ -\cfrac{1}{\sqrt{2}} & \cfrac{1}{\sqrt{2}} \end{bmatrix}^{\rm T} =\begin{bmatrix} 1 & 0 \\ 0 & 1 \\ 1 & 1 \end{bmatrix}$

当调整奇异值的顺序，使 $\mathit\Sigma= \begin{bmatrix} \sqrt{3} & 0 \\ 0 & 1 \end{bmatrix}$时，可得
$\begin{array}{l} D=\begin{bmatrix} \sqrt{3} & 0 \\ 0 & 1 \\0 & 0\end{bmatrix}\\ V=\begin{bmatrix} \cfrac{1}{\sqrt{2}} & \cfrac{1}{\sqrt{2}} \\ \cfrac{1}{\sqrt{2}} & -\cfrac{1}{\sqrt{2}} \end{bmatrix},\;\text{这里$V$可以有四种解}\\ U=\begin{bmatrix} \cfrac{1}{\sqrt{6}} & \cfrac{1}{\sqrt{2}} & \cfrac{1}{\sqrt{3}} \\ \cfrac{1}{\sqrt{6}} & -\cfrac{1}{\sqrt{2}} & \cfrac{1}{\sqrt{3}} \\ \cfrac{2}{\sqrt{6}} & 0 & -\cfrac{1}{\sqrt{3}}\end{bmatrix},\;\text{这里$U$可以有两种解} \end{array}$

$A=UDV^{\rm T}=\begin{bmatrix} \cfrac{1}{\sqrt{6}} & \cfrac{1}{\sqrt{2}} & \cfrac{1}{\sqrt{3}} \\ \cfrac{1}{\sqrt{6}} & -\cfrac{1}{\sqrt{2}} & \cfrac{1}{\sqrt{3}} \\ \cfrac{2}{\sqrt{6}} & 0 & -\cfrac{1}{\sqrt{3}}\end{bmatrix} \begin{bmatrix} \sqrt{3} & 0 \\ 0 & 1 \\0 & 0\end{bmatrix} \begin{bmatrix} \cfrac{1}{\sqrt{2}} & \cfrac{1}{\sqrt{2}} \\ \cfrac{1}{\sqrt{2}} & -\cfrac{1}{\sqrt{2}} \end{bmatrix}^{\rm T} =\begin{bmatrix} 1 & 0 \\ 0 & 1 \\ 1 & 1 \end{bmatrix}$

可以看到，矩阵的奇异值分解通常不是唯一的。