机器学习——损失函数（个人笔记）

机器学习——损失函数

前言：

在开始学习损失函数的时候，可能大家都会觉得是关于数学的会非常晦涩难懂，但是你们要从根源去学习这个概念，**“损失”**函数，以及这个函数和概率之间的关系。

概念：

损失函数是用来估量模型的预测值F(X)与真实值Y的不一致程度

损失函数大致分为两类：

• 分类
• 回归

回归——损失函数

• 均方误差(Mean Square Error,MSE)
  在这里插入图片描述
  特点：

  会扩大大于一的误差的权重，缩小小于一的误差的权重，造成离群点对预测干扰较大，但是不容易产生震荡

• 平均绝对误差(Mean Absolute Error,MAE)
  

  特点：离群点对预测造成的干扰比均方误差小，但是容易发生震荡，不利于函数的收敛和模型的学习

• Huber Loss(上面两种的综合)
  

分类——损失函数

• 0-1损失
  

  特点：

  表达很直观，但是无论误差有多大，对于每个错误的损失值相同，函数不连续不可导，难以使用梯度优化算法

• 交叉熵损失（应用最多的损失函数之一）

• 合页损失
  
  

• 指数损失

• softmax损失