最小二乘法拟合直线

https://www.cnblogs.com/ghj1976/p/zui-xiao-er-cheng-zhi-xian-ni-he.html

• 教程有推导过程，最后也给出了中学的结论

---

以二维拟合直线为例。

目标：已知一系列点 $(x_i,y_i)$，拟合最佳直线 $y=ax+b$

原理

所谓最小二乘法，“二乘”也就是平方，最小二乘，也就是最小化误差的平方和，通过使误差平方和最小确定函数系数。

在二维的例子中，

$$\begin{gathered} err=\hat{y}-y \\ =a{x}_i+b-y_i \end{gathered}$$

那么误差平方和

$$f=\sum _{i=1}^{n}er{r}^2=\sum _{i=1}^n(a{x}_i+b-y_i{)}^2$$

如何让这个函数$f$最小呢？

• 首先这是一个关于$(a,b)$的二元函数

• 参考一元函数可知，在函数极值处可能存在最值

  • 函数极值可通过一元函数的求导、多元函数求偏导来确定极值点

• 对于上述$f(a,b)$函数，观察到两个未知量$a,b$的系数都非负，那么猜测这个函数类似开口向上的一元二次函数，在极值点处取到最小值

• 另有结论：多元函数极值点处，各偏导为0，即：

  $$\begin{gathered} \frac{\partial f}{\partial x}=0 \\ \frac{\partial f}{\partial y}=0 \end{gathered}$$

  带入上面的$f$式子求得：

  $$\begin{gathered} \sum _{i=1}^n(a{x}_i^2+x_i(b-y_i))=0 \\ \sum _{i=1}^n(b+k{x}_i-y_i)=0 \end{gathered}$$

• 上面的两个求和方程，未知量为$a,b$, 将已知的各个$x_i,y_i$带入即可求解

程序求解

上述关于$a,b$的求和方程是线性方程组$AX=b$​，其中：

• $X=(a,b{)}^T$
• 则$X=A^{-1}b$

TODO

• 为什么这个二元函数$f$的极值点处能求得最值？