1、首先，矩阵可以认为是一种线性变换：确定了定义域空间与目标空间的两组基，就可以很自然地得到该线性变换的矩阵表示。即矩阵A可以通过Ax=b将一个向量x线性变换到另一个向量b，这个过程中，线性变换的作用包含三类效应：旋转、缩放和投影。
2、奇异值分解体现了对线性变换这三种效用的一个析构。
在
中，U的列向量组成了一组标准正交基，V的列向量也是，这表示我们找到了U和V这两组基，A矩阵的作用是将一个向量从V这组正交基向量的空间旋转到U这组正交基向量空间，并对每个方向做一定的缩放，缩放因子就是Σ中的各个奇异值，同时如果V的维度比U大，那么这个过程还包含了投影。
可见SVD将一个矩阵原本混合在一起的三种作用效果给分离了开来。
3、特征值分解则是对旋转和缩放两种效应的归并。因为特征值分解中的A为方阵，显然是不存在投影效应的。
特征值和特征向量由
得到。即对于一个处于A的特征向量x方向上的向量v而言，Av对v的线性变换作用则只表现在缩放上。或者说，我们找到了一组基（特征向量们），在这组基下，矩阵的作用效果仅仅是缩放。
当A为实对称矩阵时，特征向量之间是相互正交的，可以将上式写作
，这样看形式和SVD类似，即矩阵A将一个向量从x这组基的空间旋转到x这组基的空间上，并在每个方向进行了缩放，由于前后两组基都是x，即没有进行旋转和投影。