【机器学习】【数学推导】最小二乘法（线性）

一、解决什么问题

我们现在有一堆样本，在图象上的位置如下图黑点：

最小二乘法要做的事情，就是拟合出来一条直线（也可以是曲线，但是本篇只说直线的情况），使得所有点的均方差最小，以便用于未知数据情况的猜测

二、如何拟合

因为本篇只讨论线性的，所以直线可以用下记的表达式进行表示：

其中：

正常情况下，函数表达式有一个常量b，但是为了简写，这里把b融合到了中，并令

这样实际上就是一个常量b了

在样本中，我们知道每个样本的真值，所以我们的均方差表达式为：

接下来只需要求得，就可以获得原函数表达式了，推导过程如下：

首先将均方差公式展开为向量表达形式：

其中相乘的两个矩阵互为转置矩阵，先对左边的矩阵进行转换：

右边的式子是这个式子的转置，所以转换为：

带入到原均方差公式中，并继续展开：

不根据矩阵的性质，单纯从均方差的定义知道，最终一定是一个实数值，所以等式右边的每一项，也一定是一个数字

而其中第二项和第三项互为转置，实数的转置还是自己，所以第二项和第三项是相等的，所以继续简化为：

对于凸优化问题，想要求得最小值，使得均方差最小，第一反应就是求带，接下来对w进行求导，并求导数为0的w值：

其中，为伪逆矩阵，或者叫广义逆矩阵

三、结论

拟合的曲线方程为：，其中