数学建模与数据分析中的主成分分析

主成分分析
主成分能反映出原始数据的大部分信息，并且将多个指标转化为较少的指标

(1) 主成分分析的计算步骤

假设有 $n$ 个样本， $p$ 个指标，构成 $n\times p$ 的样本矩阵。
$$x=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1p}\\ x_{21}& x_{22}& \cdots & x_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ x_{n1}& x_{n2}& \cdots & x_{np}\end{array}\right]$$

• step 1：
  • 方案一
    • 按列计算均值 ${\overline{x}}_j=\frac{1}{n}\sum _{i=1}^n{x}_{ij}(j=1,2,\dots ,p)$
       
    • 按列计算标准差 $S_j=\sqrt{\frac{\sum _{i=1}^n(x_{ij}-{\overline{x}}_j)}{n-1}}$
    • 标准化数据 $$X_{ij}=\frac{x_{ij}-{\overline{x}}_j}{S_j}$$
      $$X=\left[\begin{array}{cccc}{X}_{11}& X_{12}& \cdots & X_{1p}\\ X_{21}& X_{22}& \cdots & X_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ X_{n1}& X_{n2}& \cdots & X_{np}\end{array}\right]=\left[A_1,A_2,\dots ,A_p\right]$$
    • 计算标准化样本的协方差矩阵
      $$r_{ij}=\frac{1}{n-1}\sum _{i=1}^n(X_{ki}-{\overline{A}}_i)(X_{kj}-{\overline{A}}_j)=\frac{1}{n-1}\sum _{i=1}^n{X}_{ki}{X}_{kj}$$
      $$R=\left[\begin{array}{cccc}{r}_{11}& r_{12}& \cdots & r_{1p}\\ r_{21}& r_{22}& \cdots & r_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ r_{p1}& r_{p2}& \cdots & r_{pp}\end{array}\right]$$
  • 方案二
    直接计算 $x$ 的样本相关系数矩阵
    $$r_{ij}=\frac{\sum _{k=1}^n(x_{ki}-{\overline{x}}_i)(x_{kj}-{\overline{x}}_j)}{\sqrt{\sum _{k=1}^n(x_{ki}-{\overline{x}}_i{)}^2\sum _{k=1}^n(x_{kj}-{\overline{x}}_j{)}^2}}$$
• step 2： 计算 $R$ 的特征值和特征向量
  • 特征值：${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_p\ge 0$
  • 特征向量矩阵：
    $$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1p}\\ a_{21}& a_{22}& \cdots & a_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ a_{p1}& a_{p2}& \cdots & a_{pp}\end{array}\right]$$
• step 3： 计算主成分贡献率以及累计贡献率
  • 主成分贡献率$$\alpha =\frac{{\lambda }_i}{\sum _{k=1}^p{\lambda }_k}(i=1,2,\dots ,p)$$
  • 累计贡献率
    $$\beta =\frac{\sum _{k=1}^i{\lambda }_k}{\sum _{k=1}^p{\lambda }_k}(i=1,2,\dots ,p)$$
• step 4： 写出主成分
  • 选取累计贡献率超过 $80\%$ 的特征值对应的第 $1$ 、第 $2$ 、。。。、第 $m(m\le p)$ 个主成分。
  • 第 $i$ 个主成分，$F_i=a_{1i}{A}_1+a_{2i}{A}_2+\cdots +a_{pi}{A}_p(i=1,2,\dots ,m)$。注意主成分是一个 $p\times 1$ 的列向量。
• step 5： 分析主成分系数代表的意义 (⭐️ 决定主成分分析是否成功的关键)
  对某个主成分而言，指标前面的系数越大，代表该指标对该主成分的影响越大。

主成分分析的重中之重：如何解释根据系数提取出的主成分，如果提取的主成分中有一个主成分解释不了，整个主成分分析就失败了。

(2) 主成分分析用于聚类

• 当指标个数特别多，并且指标之间存在很强的相关性时才用主成分分析的手段辅助聚类可视化。
• 当第一主成分和第二主成分的贡献率已经足够高的话，可以只取前两个主成分，这样可以用于做二维的聚类图。
• 当第一主成分和第二主成分和第三主成分的贡献率已经足够高的话，可以只取前三个主成分，这样可以用于做三维的聚类图。

(3) matlab 相关

$①$ R = corrcoef(x) 求解样本的相关系数矩阵
$②$ X=zscore(x); 将样本矩阵标准化，相当于 （x-mean(x)）/std(x)
$③$ R = cov(X); 计算样本的协方差矩阵
$④$ [V,D] = eig(R); 计算矩阵的特征值与特征向量。
$⑤$ B=rot90(A，n) 将矩阵 $B$ 逆时针旋转 $90°\times n$