向量投影

向量投影

力的正交分解就是投影，高中时一般向坐标轴投影，有时也需计算力在任意方向分量，即力在这个方向的投影，可通过内积计算。但有时需要计算力在某个平面内的分量，即力在平面内的投影，或者计算力垂直于某平面的分量，都可通过投影解决。

几何上，也经常涉及投影，如点到直线或平面的距离，此距离是点到直线或平面的最短距离，求此距离可通过投影解决。

再举个例子，为什么称为“投影”，投影就是物体在太阳光的照射下在地面形成的影子。当太阳光与地面垂直时是正投影，这就是线性代数中研究的投影。当物体与地面垂直时，影子长度（投影）为0。中国古时利用投影来计时，发明了日晷。希望读者根据物理学和几何学，获得投影的几何图像。

当转向高维空间时，投影不局限于低维子空间，可投向任意维度的子空间，所以需要代数方法，但理解需要几何图像。向量在子空间的投影，本质上是向量的正交分解，分解为两个向量：一个向量位于子空间，另一个位于其正交补空间。

子空间 $S_1$ 由无关组 $V = (\mathbf{v_1},\cdots,\mathbf{v_n})$ 张成，如何求任意向量 $\mathbf{v}$ 在子空间的投影向量呢？这是线性代数基本问题之一，也是理解线性方程的核心之一，必须十分重视。

投影向量位于子空间 $S_1$ 内，故其可表示为生成向量的线性组合，这是解决问题的关键一步，令投影向量为 $\mathbf{v}^{\bot} = \alpha_1\mathbf{v_1}+\cdots+\alpha_n\mathbf{v_n}$ ，只要算出表示系数组就可得到投影向量。另一正交分量 $\mathbf{v}^{-} = \mathbf{v}-\mathbf{v}^{\bot}$ 位于正交补空间 $S_1^{\bot}$ ，垂直子空间 $S_1$ 内任意向量。故两个分向量垂直，内积为零！这是关键第二步。
$0 = (\mathbf{v}^{\bot}, \mathbf{v}^{-}) = (\mathbf{v}^{\bot}, \mathbf{v}-\mathbf{v}^{\bot}) = (\mathbf{v}^{\bot}, \mathbf{v}) - (\mathbf{v}^{\bot}, \mathbf{v}^{\bot})\\ 得：(\mathbf{v}^{\bot}, \mathbf{v}) = (\mathbf{v}^{\bot}, \mathbf{v}^{\bot}) \\ 得：(\alpha_1\mathbf{v_1}+\cdots+\alpha_n\mathbf{v_n}, \mathbf{v}) =(\alpha_1\mathbf{v_1}+\cdots+\alpha_n\mathbf{v_n},\alpha_1\mathbf{v_1}+\cdots+\alpha_n\mathbf{v_n})=\sum_{ij}\alpha_i\alpha_j(\mathbf{v_i},\mathbf{v_j})$

根据正交分解的唯一性， $\mathbf{v}^{\bot}$ 是唯一的，根据无关组表示向量的唯一性，表示系数组存在且唯一。无关组是任意向量时，利用向量理论很难表示出表示系数，必须用矩阵理论才能方便表示。

无关组是标准正交基时，却很容易求出表示系数。 根据标准正交基性质： $(\mathbf{v_i},\mathbf{v_j})=0,\forall i\ne j; \quad =1 ，\forall i= j$ 。代入上式，
$(\alpha_1\mathbf{v_1}+\cdots+\alpha_n\mathbf{v_n}, \mathbf{v}) = \alpha_1(\mathbf{v_1}, \mathbf{v})+\cdots+\alpha_n(\mathbf{v_n}, \mathbf{v}) = \alpha_1^2+\cdots+\alpha_n^2$
显然当 $\alpha_i = (\mathbf{v_i}, \mathbf{v}), \forall i \in [1,n]$ 时，等式恒成立！故投影向量为：
$\mathbf{v}^{\bot}=(\mathbf{v_1}, \mathbf{v})\mathbf{v_1}+\cdots+(\mathbf{v_n}, \mathbf{v})\mathbf{v_n}$
标准正交基可以看作坐标轴，向量与坐标轴的内积就是向量在该轴方向的分量（坐标值），子空间内所有坐标轴方向的分量相加就是投影！

特别重要的特例，当子空间就是整个空间时，显然投影向量就是向量本身，得：

重要性质 $m$ 维空间任意向量 $\mathbf{v}$ 与标准正交基 $V$ 的正交分解：
$\mathbf{v}=(\mathbf{v_1}, \mathbf{v})\mathbf{v_1}+\cdots+(\mathbf{v_m}, \mathbf{v})\mathbf{v_m}$

这就是物理学中的正交分解！得到最简基节同样结论。

下面证明垂线距离最短，几何上就是直角三角形斜边长度大于直角边，线性代数也是这样证明的。假设子空间 $S_1$ 内任意向量 $\mathbf{u}$ ，向量 $\mathbf{v}$ 分解为 $\mathbf{v}=\mathbf{u}+\mathbf{w}$ ，则向量 $\mathbf{w}$ 是斜边，向量 $\mathbf{v}-\mathbf{v}^\bot$ 是垂线，请想象出二维点到直线距离，三维点到平面距离的图像。
$\|\mathbf{w}\|^2 = \|\mathbf{v}-\mathbf{u}\|^2=\|(\mathbf{v}-\mathbf{v}^\bot) + (\mathbf{v}^\bot-\mathbf{u})\|^2 = \|(\mathbf{v}-\mathbf{v}^\bot)\|^2 + \|(\mathbf{v}^\bot-\mathbf{u})\|^2 \ge \|(\mathbf{v}-\mathbf{v}^\bot)\|^2$
向量 $\mathbf{v}-\mathbf{v}^{\bot}$ 位于正交补空间 $S_1^{\bot}$ ，垂直子空间内任意向量，向量 $(\mathbf{v}^\bot,\mathbf{u})$ 位于子空间内，故 $\mathbf{v}-\mathbf{v}^{\bot}$ 垂直 $(\mathbf{v}^\bot-\mathbf{u})$ ，根据勾股定理，得到中间等式。

向量投影有个应用，就是判断向量是否位于子空间内？如果向量等于子空间投影，则向量位于子空间内。子空间内的向量能被子空间的生成向量组表示。

向量投影的这两个性质对于理解线性方程很关键，特别是最小二乘法。