机器学习基础（2）代价函数

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/duan20140614/article/details/88750314

1、上一篇中我们提到了假设函数 $h_{\theta}$,该函数的作用根据输入变量 $x$输出预测相应的输出变量 $h_{\theta}(x)$,那么该假设函数的预测效果该怎么度量呢？
2、我们可以使用代价函数（cost function）来度量估计假设函数的预测效果。代价函数，就是用来度量假设函数对样本目标变量的预测值与真实值之间差异的一个函数。
3、不同模型使用的代价函数不一定相同（后续我们会谈到），在这里我们只以线性回归的代价函数为例来简单介绍下：

线性回归问题的代价函数称之为均方误差函数，其具体形式：
$J(\theta)={\frac{1}{2}*\frac{1}{m}\sum_{i=1}^{m}}(\overrightarrow{y^{(i)}}-y^{(i)})^{2}={\frac{1}{2}*\frac{1}{m}\sum_{i=1}^{m}}(h_{\theta}(x^{(i)})-y^{(i)})^{2}$
从公式中我们可以看出，均方误差是预测值与真实值之差的平方和的均值的一半，其中， $\theta =[\theta_{0},\theta{1}]$,平均值乘以1/2是为了在计算梯度下降时方便，因为对平方项进行求导后可以抵消。

• 有监督学习模型的目的就是最小化代价函数，即
  $minimize{J(\theta)}$