最小二乘的应用1-不相容方程组

1.1 不相容方程组概念理解

先解释一下什么是不相容方程组。当线性矩阵与其增广矩阵不等秩时，且系数矩阵的秩小于曾广矩阵的秩时，系数矩阵不相容。比如线性方程组 $Ax=b$ ， $A$ 是系数矩阵， $[A|b]$ 是增广矩阵，当 $A$ 的秩小于 $[A|b]$ 的秩不时， $A$ 就称为不相容系数矩阵， $Ax=b$ 就称为不相容方程组。明显可以可以看出：不相容方程组没有非零解。
再来解释一下超定方程组。超定方程组是指有效方程的个数大于未知量个数的方程组。对于方程组 $Bx=c$ ， $B$ 为 $n×m$ 矩阵，如果 $B$ 列满秩，且 $R[B|c]>n$ ，。则方程组没有精确解，此时称方程组为超定方程组。明显可以得出超定方程组没有非零解。
同时，可以明显得出， $R(B)=m < R[B|c]$ ，所以超定方程组一定是不相容方程组。而且不相容方程组的一个常见来源是超定方程组。

1.2 为什么会出现不相容方程组

按照正常的理解，数学是很严格的，两点确定一条直线，只要直到直线上的两个点的坐标，就能求得这条直线的方程。
例如：平面上有两个点的坐标分别为 $(1,5)$ 和 $(2,7)$ ，直线的方程可以表示为 $y=ax+b$ 。那么可以列出方程：
$\begin{aligned} 5&=a+b \\ 7&=2a+b \end{aligned}$
很容易就能求解出 $a=2$ 和 $b=3$ 的值。而且如果再加一个点 $(3,9)$ ，并列三个方程组
$\begin{aligned} 5&=a+b \\ 7&=2a+b \\ 9&=3a+b \end{aligned}$
很容易能求解。这个方程组很像超定方程组，但是其实不是的，因为其系数矩阵的秩等于曾广矩阵的秩。
但是，这是给出的点的坐标非常准确的情况，而实际情况中是无法得出非常准确的点的坐标的，比如测量误差的存在，无法得到准确的点的坐标。而且，为了能够收集更多的信息，通常情况会去测量尽量多的点。比如，为了得到某个直线的方程，工程师测量了直线上n个点的坐标，这些坐标都是有误差的。画图如下所示，所有蓝色的点都是测量得到的点，红色的直线是实际的直线。
在这里插入图片描述
此时，有n个测量点，会列出n个方程组，就是超定方程组了。

1.3 残差向量

残差在数理统计中是指实际观察值与估计值（拟合值）之间的差。与之类比，在不相容方程组中，残差向量就是实际观察向量（ $b$ ）与估计向量（ $Ax$ ）的差值向量。
举个例子：给点线性不相容方程组 $Ax=b$ ，没有非零解，退而求其次，我们找到了一个尽量满足方程组的解 $x^*$ ，那么向量 $Ax^*-b$ 就是残差向量。
可以这样理解，为了使所求得的 $x^*$ 尽量满足真实值 $x$ ，应该使残差向量最小。也就是如果残差向量最小，就说明此时的 $x^*$ 越准确。
在实际应用方面，任何最小化残差向量的方法，都可以用于寻找不相容方程的解。

1.4 超定方程组的最小二乘解

假设 $Ax=b$ 是超定方程组，其中 $A$ 是 $n×m$ 的矩阵且 $n>m$ ，增广矩阵 $[A|b]$ 的秩大于 $m$ 。
超定方程组是无解的，但是我们可以求得其最小二乘解，将等式左右两端乘上 $A$ 的转置。
$A^TAx^*=A^Tb$
可以通过上述方程组得到 $Ax=b$ 的最小二乘解。
$A^TAx^*=A^Tb$ 是 $Ax=b$ 的关联方程组。

1.5 最小二乘解的定理

对于方程组 $Ax=b$ ，其中 $A\in m*n$ ，有：

关联方程组： $A^TAx^*=A^Tb$ 总是相容的；
$Ax=b$ 的最小二乘解恰好是 $A^TAx=A^Tb$ 的解；
最小二乘解是唯一的，当且仅当矩阵 $A$ 的秩为 $n$ ;

1.6 解的公式推导

定义方程组 $Ax=b$ ， $A$ 为矩阵， $x$ 为变量， $b$ 为向量。
先写两个线性代数定理：

$\frac{\partial x^TA}{\partial x}=A$
$\frac{\partial x^TAx}{\partial x}=Ax+A^Tx$

最小二乘的优化目标：
$\min_{x\in R} (||Ax-b||_2)^2$
这是多变量的优化问题，所以要对变量进行求导。
先进行展开
$\begin{aligned} (||Ax-b||_2)^2 &= (Ax-b)^T(Ax-b) \\ &=x^TA^TAx-b^TAx-x^TA^Tb+b^Tb \end{aligned}$
由此得到：
$\frac{\partial(||Ax-b||_2)^2}{\partial x}=2A^TAx-2A^Tb$
让上式等于零可得
$x=(A^TA)^{-1}A^Tb$