Day02多变量线性回归

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_34652535/article/details/85419435

多功能


x表示一个向量

我们用多个特征量或者变量来预测Y值,这就是所谓的多元线性回归

多元梯度下降法


多元线性回归模型如下 

特征缩放


通过特征缩放,他们值得范围变得相近,这样你得到的梯度下降算法就会更快地收敛

不要太大,也不要太小

 特征缩放并不需要太精确,只是为了让梯度下降。以下为均值归一化工作。

学习率


这条曲线显示的是梯度下降的每步迭代后代价函数的值,如果梯度下降算法正常工作的话,每一步迭代之后J都应该下降。我们很难提前判断梯度下降法会经过多少次迭代后收敛,通常我们通过下图曲线判断是否已经收敛,另外也可以进行一些自动收敛的测试,也就是让一种算法来告诉你梯度下降算法是否已经收敛,这里是自动收敛测试,一个典型的例子。

阀值的选择很困难,所以更倾向于看左面的图像而不是自动收敛测试。 

如果代价函数没有下降,那可能因为学习率过大,那就应该尝试更小的学习率。

特征和多项式回归


当选择了合适的特征后,这些算法往往是非常有效的

特征收缩显得很重要

一些算法,他们能自动选择特征,因此你可以让算法观察给出的数据,并自动为你选择。 

正规方程


区别于迭代方法的直接解法

如果你使用正规方程法就不需要特征缩放,使用梯度下降法就需要 

优缺点

正规方程在矩阵不可逆情况下的解决方法


 

猜你喜欢

转载自blog.csdn.net/qq_34652535/article/details/85419435