机器学习心得之Andrew Ng(2)

WEEK 2:

本周主讲的是关于使用线性回归做多个特征值模型的建立,那么首先,多个特征值的线性回归的模型,长什么样呢。

多特征(Multiple Feature):

多特征线性回归:
表达式:hθ(x)=θ0+θ1x1+θ2x2+θ3x3+⋯+θnxn
同一个特征的线性回归表达式一样,θ0代表了偏置量b,每一个x代表一个特征,θ1到θn代表了每个特征的权值。那么,变换成矩阵相乘的形式:
这里写图片描述

多特征的梯度下降:
同单特征值的梯度下降一样,多特征的每个θ值我们都需要通过梯度下降来使之收敛到一个最优化值,那么:
这里写图片描述
公式:
这里写图片描述

练习:特征缩放(Feature Scaling)与学习率(Learning rate)的选择
接下来的两个练习是教我们合理的处理数据,和设置参数的,那么第一个,特征缩放:
假如我们现在有两个特征,对应两个x和一个J(θ),在没处理过数据之前,这两个x有可能一个很大,而另一个很小,这样就很有可能会在做梯度下降的过程中,θ1的梯度下降很快,而θ2的梯度下降很慢,会造成数据的颠簸不均匀。
那么如何解决这个问题呢?就是把变量θ1和θ2都控制在一个差不多大小的范围里,一般来讲,我们的范围在−1 ≤ x(i) ≤ 1或者−0.5 ≤ x(i) ≤ 0.5中。就需要每个x适当的进行处理,公式如下:
这里写图片描述
这里,μi为数据xi的平均数,si为数据xi的最大值减去最小值(range),这样处理出来的数据,会比较接近于上面给出的区间,也会在最大程度上,使J(θ)的值,变得均匀可读。

学习率的选择上,之前的课程中我们已经说过过大或过小的学习率所带来的不好的影响,但是针对不同的模型,学习率也是不同的,所以我们需要通过尝试,来得到相对合适的学习率a。我们每次都可以以0.1*3的幂的形式来尝试学习率的效果。如0.01,0.03,0.1,0.3,1,3,10等等。通过这样的过程,我们就可以快速的定位到合适的学习率了。

特征与多项式回归(Polynomial Regression):

在多项式回归中,多项式回归虽然也有多个特征权值θ,但是与多特征线性回归明显的区分点是,多项式回归只有一个特征变量x(可由多个特征变量结合得到),由于多项式回归是非线性的,所以能够解决一些线性回归不能很好解决的问题。表达式如下:
这里写图片描述

tips:
在使用多项式回归的时候,通常需要配合使用特征缩放,x幂的值要前后保持一致才能得到正确的数据。

猜你喜欢

转载自blog.csdn.net/jxsdq/article/details/78147753