啊作为一个没学过线代的人……当初写eigenface的时候看PCA看了非常之久……
这里尽量简单的描述这个概念
啊全是随手画的图

基本介绍

需要知道的：
矩阵乘法的本质是坐标变换。
主要通过二维到一维的方式来通俗的描述一下PCA。定义什么可以参考维基之类的。
https://zh.wikipedia.org/wiki/%E4%B8%BB%E6%88%90%E5%88%86%E5%88%86%E6%9E%90

看到下面这幅图上有一堆的二维点。
这里写图片描述
那我们要找一个方式把他转换到一维的。
当然如果考虑非线性就很复杂了……这里就考虑线性的。

提供AB两种降维方式。实心的点是他们降到一维之后的坐标。
这里写图片描述

或许这个图看起来可以说是A这种降维【我无数次打出来姜维小哥哥】比较合理，直观上来讲

每个点的失真比较小（就空心点到实心点的距离比较小）
最后结果比较分散，也就是说在A这条直线上点的差异性得以保留，而在B这条直线上提取出来的更多是它们的共性。

主成分分析中，这种直观的判断方式，被确定为投影之后方差最大
（后来看资料发现两种定义都有）
而经过求解，这个向量正好对应协方差矩阵最大特征值对应的特征向量。（证明放在最后）

那么来一个直观一点的方式……【这里的一些符号定义和下面证明里一样】
如果求出的两个特征向量分别为【markdown公式啥时候那么丑了……预览不是这样的不是！】

a_{1} = [\begin{matrix} \frac{\sqrt{2}}{2} \\ \frac{\sqrt{2}}{2} \end{matrix}]

$a_1 = \begin{bmatrix} \frac{\sqrt{2} }{2} \\ \frac{\sqrt{2} }{2} \\ \end{bmatrix}$

a_{2} = [\begin{matrix} \frac{\sqrt{2}}{2} \\ - \frac{\sqrt{2}}{2} \end{matrix}]

$a_2 = \begin{bmatrix} \frac{\sqrt{2} }{2} \\ - \frac{\sqrt{2} }{2} \\ \end{bmatrix}$

那么降到特征空间之后得到的值为

[\begin{matrix} \frac{\sqrt{2}}{2} & \frac{\sqrt{2}}{2} \\ \frac{\sqrt{2}}{2} & - \frac{\sqrt{2}}{2} \end{matrix}] [\begin{matrix} 1 \\ 2 \end{matrix}] = [\begin{matrix} \frac{3 \sqrt{2}}{2} \\ - \frac{\sqrt{2}}{2} \end{matrix}]

$\begin{bmatrix} \frac{\sqrt{2} }{2} & \frac{\sqrt{2} }{2} \\ \frac{\sqrt{2} }{2} & -\frac{\sqrt{2} }{2}\\ \end{bmatrix} \begin{bmatrix}1 \\ 2 \\ \end{bmatrix} =\begin{bmatrix} \frac{3\sqrt{2} }{2} \\ - \frac{\sqrt{2} }{2} \\ \end{bmatrix}$

如果不做什么的话是可以正常还原的……

[\begin{matrix} \frac{\sqrt{2}}{2} & \frac{\sqrt{2}}{2} \\ \frac{\sqrt{2}}{2} & - \frac{\sqrt{2}}{2} \end{matrix}] [\begin{matrix} \frac{3 \sqrt{2}}{2} \\ - \frac{\sqrt{2}}{2} \end{matrix}] = [\begin{matrix} 1 \\ 2 \end{matrix}]

$\begin{bmatrix} \frac{\sqrt{2} }{2} & \frac{\sqrt{2} }{2} \\ \frac{\sqrt{2} }{2} & -\frac{\sqrt{2} }{2}\\ \end{bmatrix} \begin{bmatrix} \frac{3\sqrt{2} }{2} \\ - \frac{\sqrt{2} }{2} \\ \end{bmatrix} = \begin{bmatrix}1 \\ 2 \\ \end{bmatrix}$
但是需要降维也就是认为

[\begin{matrix} \frac{3 \sqrt{2}}{2} \\ - \frac{\sqrt{2}}{2} \end{matrix}]

$\begin{bmatrix} \frac{3\sqrt{2} }{2} \\ - \frac{\sqrt{2} }{2} \\ \end{bmatrix}$
可以省去特征根比较小的点。这些点我们认为体现了更多的“共性”而不是“特性”。

这样还原结果如下【0表示这个维度被省去】

[\begin{matrix} \frac{\sqrt{2}}{2} & \frac{\sqrt{2}}{2} \\ \frac{\sqrt{2}}{2} & - \frac{\sqrt{2}}{2} \end{matrix}] [\begin{matrix} \frac{3 \sqrt{2}}{2} \\ 0 \end{matrix}] = [\begin{matrix} \frac{3}{2} \\ \frac{3}{2} \end{matrix}]

$\begin{bmatrix} \frac{\sqrt{2} }{2} & \frac{\sqrt{2} }{2} \\ \frac{\sqrt{2} }{2} & -\frac{\sqrt{2} }{2}\\ \end{bmatrix} \begin{bmatrix} \frac{3\sqrt{2} }{2} \\0\\ \end{bmatrix} = \begin{bmatrix} \frac{3 }{2} \\ \frac{3 }{2} \\ \end{bmatrix}$

可以看到有一定的失真……但是也可以认为还保留着基本的一些特征【废话】