SVD推导

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_25847123/article/details/79358598

申明： 仅个人小记

既定事实，

1. 对于任意规格mXn矩阵 $A$, ${A}^{T}A$为n*n规格的实对称矩阵。
2. 实对称矩阵必然存在n个线性无关的相互正交的单位特征向量
3. 正交矩阵的逆矩阵等于正交矩阵的转置
4. $r({A}^{T}A)=r(A)=k,(k\le min\left \{ m,n\right \})$，即 ${A}^{T}A$的非零特征值的个数为k（重根分开计数）
5. 易知恒有 ${A}^{T}A$的特征值 $\lambda_i\ge0$，将特征值按降序排为 $\lambda_1, \lambda_2, ,,\lambda_k,\lambda_{k+1},,,\lambda_n$,其中 $\lambda_k,\lambda_{k+1},,,\lambda_{n}$皆为零值。

推导开始

${A}^{T}A$的n个n维度线性无关的相互正交的单位特征向量，记为 $\vec {v _{1}}, \vec {v _{2}},...,{\vec {v _{n}}}$所以有, ${A}^{T}A\vec {v _{i}} = \lambda _{i} \vec {v _{i}}=\begin {cases} \lambda_i\vec{v_i},&i\le k \cr \vec{0},&i>k\end {cases}$ $\vec {v _{i}} \cdot \vec {v_{j}} = 0, (i \neq j)以及\vec {v_{i}} \cdot \vec {v_{i}} = 1$所以下面只讨论非零特征值部分， $\vec {v_j} \cdot {A}^{T}A\vec {v_i} = \vec {v_j} \cdot \lambda _i \vec{v_i}，(i, j\le k)$
进而有， ${\vec{v_j}}^{T}{A}^{T}A\vec{v_i}=\lambda \vec{v_j}\cdot\vec{v_i} ,(i, j\le k)$显然， ${(A\vec{v_j})}^{T}\cdot(A\vec{v_i})=\lambda _i \cdot \begin{cases}0,&i \neq j \cr 1, & i=j\end{cases}$

即, $(A\vec{v_j})\cdot(A\vec{v_i})=\begin{cases} 0,&i\neq j\cr \lambda _i,&i=j\end{cases},(i, j\le k)$
即得， $\left | A\vec{v_i}\right | = \sqrt{\lambda}_i且A\vec{v_i}\perp A\vec{v_j}$

说明， $A\vec{v_1}, A\vec{v_2},...,A\vec{v_k}$是一组m维度列向量的正交基。

进而我们将这组正交基正规化，即化为每个向量都变为模为1的向量，即 $\frac {A\vec{v_1}}{\left | A\vec{v_1} \right |},\frac {A\vec{v_2}}{\left | A\vec{v_2} \right |},...,\frac {A\vec{v_k}}{\left | A\vec{v_k} \right |}$

即, $\frac {A\vec{v_1}}{\sqrt{\lambda _1}},\frac {A\vec{v_2}}{\sqrt{\lambda _2}},...,\frac {A\vec{v_k}}{\sqrt{\lambda _k}}$,

记作， $\vec{u_1},\vec{u_2},...,\vec{u_k},(注意： \vec{u_i}是m维的列向量)$因为 $k\le m$，且 $\vec{u_i}$是m维度的，所以可以补充m维正交向量，使得 $\vec{u_1},\vec{u_2},,,\vec{u_m}$为m个m维度的正交向量组。

此处梳理下，以上的推导结果为 $\vec{u_i}\cdot\vec{u_j}=\begin{cases}0,&i \neq j\cr1,&i = j \end{cases},(i,j\le m)$

$A\vec{v_i}=\vec{u_i}\sqrt{\lambda_i},(i, j\le k)$

所以有，
$A(\vec{v_1},\vec{v_1},...,\vec{v_n})$ $=(\vec{u_1},\vec{u_2},...,\vec{u_m})\begin {bmatrix}&\sqrt{\lambda_1} & &&&&&\\&&\sqrt{\lambda_2}&&&&&\\&&&.&&&&\\&&&&\sqrt{\lambda_k}&&&\\&&&&&0 &&\\&&&&&&.&\\&&&&&&&0\end {bmatrix}$ $=U\Sigma$

其中 $\Sigma$为m*n的矩阵。又因为， $[\vec{v_1},\vec{v_1},...,\vec{v_n}]$ 是正交矩阵,所以必然有 ${[\vec{v_1},\vec{v_1},...,\vec{v_n}]}^{-1}={[\vec{v_1},\vec{v_1},...,\vec{v_n}]}^{T}$

所以， $A=(\vec{u_1},\vec{u_2},...,\vec{u_m})\begin {bmatrix}&\sqrt{\lambda_1} & &&&&&\\&&\sqrt{\lambda_2}&&&&&\\&&&.&&&&\\&&&&\sqrt{\lambda_k}&&&\\&&&&&0 &&\\&&&&&&.&\\&&&&&&&0\end {bmatrix}{[\vec{v_1},\vec{v_1},...,\vec{v_n}]}^{-1}$

即， $A=(\vec{u_1},\vec{u_2},...,\vec{u_m})\begin {bmatrix}&\sqrt{\lambda_1} & &&&&&\\&&\sqrt{\lambda_2}&&&&&\\&&&.&&&&\\&&&&\sqrt{\lambda_k}&&&\\&&&&&0 &&\\&&&&&&.&\\&&&&&&&0\end {bmatrix}{[\vec{v_1},\vec{v_1},...,\vec{v_n}]}^{T}$

记作， $A=U\Sigma {V}^{T}$
U的规格：mm, $\Sigma$ 规格:mn, V规格： n*n

补充

证明矩阵U的列向量是 $A{A}^{T}$的单位特征向量
$A{A}^{T}\vec{u_i}=A{A}^{T}\frac {A\vec{v_i}}{\sqrt{\lambda_i}}=A \frac {{A}^{T}A\vec{v_i}}{\sqrt{\lambda_i}}=A\frac {\lambda_i \vec{v_i}}{\sqrt{\lambda_i}}=\lambda_i\frac {A\vec{v_i}}{\sqrt{\lambda_i}}=\lambda_i\vec{u_i}$

即， $A{A}^{T}\vec{u_i}=\lambda_i\vec{u_i}$,

又因为， $\vec{u_i}\cdot\vec{u_i}=1$

所以， $\vec{u_i}$是 $A{A}^{T}$的单位特征向量。