https://www.cnblogs.com/ghj1976/p/zui-xiao-er-cheng-zhi-xian-ni-he.html
- 教程有推导过程，最后也给出了中学的结论
以二维拟合直线为例。
目标：已知一系列点 ( x i , y i ) (x_i, y_i) (xi,yi)，拟合最佳直线 y = a x + b y = ax+b y=ax+b
原理
所谓最小二乘法，“二乘”也就是平方，最小二乘，也就是最小化误差的平方和，通过使误差平方和最小确定函数系数。
在二维的例子中，
e r r = y ^ − y = a x i + b − y i err = \hat{y} - y \\ \hspace{1.55cm}= ax_i+b - y_i err=y^−y=axi+b−yi
那么误差平方和
f = ∑ i = 1 n e r r 2 = ∑ i = 1 n ( a x i + b − y i ) 2 f = \sum_{i=1}^n{err^2} = \sum_{i=1}^n({ax_i+b - y_i})^2 f=i=1∑nerr2=i=1∑n(axi+b−yi)2
如何让这个函数 f f f最小呢？
-
首先这是一个关于 ( a , b ) (a, b) (a,b)的二元函数
-
参考一元函数可知，在函数极值处可能存在最值
- 函数极值可通过一元函数的求导、多元函数求偏导来确定极值点
-
对于上述 f ( a , b ) f(a, b) f(a,b)函数，观察到两个未知量 a , b a,b a,b的系数都非负，那么猜测这个函数类似开口向上的一元二次函数，在极值点处取到最小值
-
另有结论：多元函数极值点处，各偏导为0，即：
∂ f ∂ x = 0 ∂ f ∂ y = 0 \frac{\partial f}{\partial x} = 0\\ \\\ \\ \frac{\partial f}{\partial y} = 0 ∂x∂f=0 ∂y∂f=0
带入上面的 f f f式子求得：
∑ i = 1 n ( a x i 2 + x i ( b − y i ) ) = 0 ∑ i = 1 n ( b + k x i − y i ) = 0 \sum_{i=1}^n({ax_i^2 + x_i(b - y_i)}) = 0\\ \\\ \\ \sum_{i=1}^n(b+kx_i-y_i) = 0 i=1∑n(axi2+xi(b−yi))=0 i=1∑n(b+kxi−yi)=0
-
上面的两个求和方程，未知量为 a , b a,b a,b, 将已知的各个 x i , y i x_i,y_i xi,yi带入即可求解
程序求解
上述关于 a , b a,b a,b的求和方程是线性方程组 A X = b AX=b AX=b，其中：
- X = ( a , b ) T X = (a, b)^T X=(a,b)T
- 则 X = A − 1 b X = A^{-1}b X=A−1b
TODO
- 为什么这个二元函数 f f f的极值点处能求得最值？