以下所说的样本数量是 M，特征数量是 N
一、一元线性回归
模型输出：
；w是特征权重，b是偏置参数
如何拟合出最佳的曲线：最小化
即可。
以上是高中知识。
二、多元线性回归
模型输出：
公式转换：
记住这个结论：累加可以变成一个行向量x列向量。对下面的公式推导很有帮助。
为了让公式更加简洁，为什么不把b放进向量里呢？于是有：
得：
所以有：
如何拟合出最佳曲线，最小化
即可。
要求最小值，则先求导，下面讲解如何一步步求导：
公式一 w(n+1)就是b。接着先求对w1的求导：
利用上文的结论： 累加可以变成一个行向量x列向量。于是原式继续转换：
接着，计算对w2的求导，得：
接着，你会发现上面的行向量都是相等的，而列向量则与对哪个w求导有关。认真想一想矩阵相乘的过程，就会发现这个行向量是可以合并成一个矩阵的，所以有：
x(n+1)是单位向量1 。这里w还可以拆出来，为了变成大家经常见的格式，于是这里转换成：w^T·x=x^T·w
这就变成了大家熟悉的样子。
令导数=0，得：
如果（X^T X）不可逆，则加入正数λ：
接下来，引入逻辑回归。
欢迎转载，转载请标明出处。
