Dimension reduction:PCA

Principal Components Analysis(PCA)

PCA算法的步骤

a. 计算样本集的协方差矩阵S

    S的值表示样本之间的相关性，大于0说明是正相关；小于0，说明是负相关；等于0，说明相互独立，不相关

b. 计算S的特征向量和特征值，按从大到小排序。

c.  设置要映射的低维空间维数k，取前k个特征值对应的特征向量作为降为的结果。

为什么选用协方差矩阵，主要有以下几个基准：

a. 最大方差理论

b. 最小错误理论

c. 坐标轴相关度理论