解超定方程 Ax=0 与奇异值分解

Reference:

1. 解超定方程 Ax=0

文章跳转：

1. 奇异值分解SVD 与 主成分分析PCA
2. 拉格朗日乘子法

前文已经介绍了奇异值分解，现在来聊聊奇异值分解的一个应用。

工程中很多问题会归结为求解超定方程 $\mathbf{Ax}=0$，$\mathbf{A}$ 是 $m\times n$ 的矩阵，且 $m>n$。如SLAM中三角化地图点，PnP 等一些问题都是求解这个方程。
很显然，这个方程有一个零解，但这不是我们想要的，我们实际想求非零解。

为了求非零解，我们对 $\mathbf{x}$ 加上一个约束 $\Vert \mathbf{x}{\Vert }^2=1$ 。也就是限制 $\mathbf{x}$ 的长度为 1 。并构建成一个带约束的最小二乘问题：
$$\hat{\mathbf{x}}=\arg \min \Vert \mathbf{Ax}{\Vert }^2,\text{ subject to }\Vert \mathbf{x}{\Vert }^2=1\text{\hspace{1em}(1)}$$这是一个带约束的最小二乘问题，我们把拉格朗日搬出来：
$$\begin{array}{rl}L(\mathbf{x},\lambda )& =\Vert \mathbf{Ax}{\Vert }^2+\lambda \left(1-\Vert \mathbf{x}{\Vert }^2\right)\\ & ={\mathbf{x}}^T{\mathbf{A}}^T\mathbf{Ax}+\lambda \left(1-{\mathbf{x}}^T\mathbf{x}\right)\end{array}\text{\hspace{1em}(2)}$$为了求极值，我们分别对 $\mathbf{x}$ 和 $\lambda$ 求偏导数，令为 $0$：
$$\begin{array}{l}\frac{\partial L(\mathbf{x},\lambda )}{\partial \mathbf{x}}=2{\mathbf{A}}^T\mathbf{Ax}-2\lambda \mathbf{x}=0\end{array}\text{\hspace{1em}(3)}$$$$\begin{array}{l}\frac{\partial L(\mathbf{x},\lambda )}{\partial \lambda }=1-{\mathbf{x}}^T\mathbf{x}=0\end{array}\text{\hspace{1em}(4)}$$把(3)式整理一下：
$$\begin{array}{r}\left({\mathbf{A}}^T\mathbf{A}-\lambda \mathbf{I}\right)\mathbf{x}=0\end{array}\text{\hspace{1em}(5)}$$$$\begin{array}{r}{\mathbf{A}}^T\mathbf{Ax}=\lambda \mathbf{x}\end{array}\text{\hspace{1em}(6)}$$可以看出 $\lambda$ 和 $\mathbf{x}$ 分别是 ${\mathbf{A}}^T\mathbf{A}$ 的特征值和特征向量。也就是说(1)式的解，就是这些特征向量中的一个。
问题来了，那么多的特征向量，应该选择哪个作为解呢？我们展开 $\Vert \mathbf{Ax}{\Vert }^2$ 看一下：
$$\Vert \mathbf{Ax}{\Vert }^2={\mathbf{x}}^T{\mathbf{A}}^T\mathbf{Ax}={\mathbf{x}}^T\lambda \mathbf{x}=\lambda {\mathbf{x}}^T\mathbf{x}=\lambda \text{\hspace{1em}(7)}$$

上方公式(7)的推导，利用了公式(6) 及 $\Vert \mathbf{x}{\Vert }^2=1$。

也就是说，我们想要 $\Vert \mathbf{Ax}{\Vert }^2$ 最小，就需要 $\lambda$ 最小。
那方程(1)的非零解就是 ${\mathbf{A}}^T\mathbf{A}$ 最小特征值 $\lambda$ 对应的特征向量，即最小奇异值对应的右奇异向量。