这篇文章《协方差矩阵和散布矩阵（散度矩阵）的意义》讲的很透彻，分享之：http://blog.csdn.net/guyuealian/article/details/68922981
我自己补充几点自己的进一步理解：
1。通常来说特征值没有一个上限，为了方便量化比较，归一化到 0-1 范围，可以将单个特征值di 用 di/（d1+d2+...+dn）来代替。
2。协方差矩阵的特征值度量了三维局部结构沿三个正交方向的延展程度，但这一个正交方向不一定是坐标系XYZ，而是数据分布方差最大的三个方向。也就是说，协方差矩阵特征值不受物体旋转/平移/镜像等刚性变换（Rigid Transformation）的影响。协方差矩阵特征值从小到大排列对应的特征向量指向数据分布的方差从大到小的方向。这些方向（以物体XYZ坐标系为参考）显然受物体旋转等刚性变换的影响。理解这一点，对于3D物体分类识别特征提取特别重要。
3。回顾PCA的计算，协方差矩阵奇异值分解（可以理解为特征值分解，只不过特征值分解只适用于方阵）后，奇异值（就是特征值）从大到小排列，对应特征向量重要性（即数据分布方差的大小）从大到小排列。将特征向量矩阵取前k列，与原矩阵相乘，这样的几何意义是将原矩阵投影到k个特征向量上，因为矩阵乘法的意义就是一个变换矩阵作用于另一个矩阵X。