代价函数（损失函数）

      模型分为能量模型和概率模型，知道概率分布的可以直接用概率模型进行建模，不知道的就用能量模型。

因为一个系统稳定的过程就是能浪逐渐减小的过程。

    代价函数说白了也就是通常建立的能量方程的一种，在机器学习中用来衡量预测值和真实值之间的误差，越小越好。一般来说一个函数有解析解和数值解，解析解就是我们数学上可以用公式算出来的解，数值解是一种近似解，在解析解不存在或者工程实现比较复杂的时候，用例如梯度下降这些方法，迭代得到一个效果还可以接受的解。所以要求代价函数对参数可微。

常见的形式有：

1 均方误差

2 交叉熵（常用于逻辑回归）

函数的构造是由真实值和预测值组成的，只是定义了一种度量方式而已，或者是2范数，或者是交叉熵，也可以是其他表现效果好的距离或者相似性的度量，都可以改写的

3 神经网络中的代价函数（在逻辑回归的基础上（返回0或1），添加了k分类）

4 正则化

扫描二维码关注公众号，回复： 137744 查看本文章

正则化的出现是和过拟合相对应的，我们初高中做实验的时候，会把得到的数据用点描出来，老师总说整体趋势要和书上的原理一致，如果这条线只有2个点在上面，且其余多数点没有均匀分布在两侧，这就是欠拟合，如果用一条曲线把所有点都连起来，就是过拟合，在神经网络层面就是说我能力很强，把这些样本全部记下来了，所以增大训练集可以减少过拟合，不能每一个都记住，就只能大概描述一下了

减少过拟合的方法有：减少特征数/正则化

正则化是一种对解空间约束的方法，限制解在某些空间。

在正则化线性回归中，如果正则化参数值 λ 被设定为非常大，那么将会发生什么呢？

我们将会非常大地惩罚参数θ₁ θ₂ θ₃ θ₄ … 也就是说，我们最终惩罚θ₁ θ₂ θ₃ θ₄ …  在一个非常大的程度，那么我们会使所有这些参数接近于零，欠拟合。

参考文献：https://mp.weixin.qq.com/s/7nBjDdj8Qrsm4OTJJihBZQ