机器学习笔记（参考吴恩达机器学习视频笔记）04_多变量线性回归

版权声明：博客内容都是对一些知识的整理，可能有些部分存在借鉴，如果存在侵权，请联系我删掉。 https://blog.csdn.net/cunxinlitian/article/details/82590949

4 多变量线性回归

4.1 多维特征

代表特征矩阵中第i行的第j个特征，也就是第i个训练实例的第j个特征。

支持多变量的假设函数h表示为：，其中，引入。此时模型中的参数是一个n+1维的向量，特征矩阵X的维度是m*(n+1)。因此公式可以简化为：。

4.2 多变量梯度下降

在多变量线性回归中，代价函数表示为：，其中：。

多变量线性回归的批量梯度下降算法为：

1）特征缩放：将所有特征的尺度都尽量缩放到-1到1之间。最简单的方法是令：，其中是平均值，是标准差。

2）学习率：学习率过小，则达到收敛所需的迭代次数会非常高；学习率过高，可能会越过局部最小值导致无法收敛。通常可以考虑的值为：0.01，0.03，0.1，0.3，1，3，10。

3）特征与多项式回归：线性回归并不适用于所有数据，有时需要曲线来适应数据，比如二次方程模型：。通常需要先观察数据然后再决定选择怎样的模型。另外，可以令：，将模型转化为线性回归模型。

4.3 正规方程

正规方程是通过求解下面的方程来找出使得代价函数最小的参数：。训练集特征矩阵为（包含了=1）并且训练集结果为向量y，则利用正规方程解出向量。

4.4 梯度下降与正规方程比较

只要特征变量的数目并不大，标准方程是一个很好的计算参数的替代方法。具体来说，只要特征变量数量小于一万，通常使用标准方程法，而不使用梯度下降法。两种方法的比较如表：

梯度下降	正规方程
需要选择学习率	不需要
需要多次迭代	一次运算得出
当特征数量n大时也能较好适用	需要计算如果特征数量n较大则运算代价大，因为矩阵逆的计算时间复杂度为，通常来说当n小于10000时还是可以接受的
适用于各种类型的模型	只适用于线性模型，不适合逻辑回归模型等其他模型