机器学习的监督学习在研究什么

什么是监督学习

简单来说，监督学习是对给定的输入输出样本进行学习并建立一个模型，该模型能对任意输入做出好的输出预测。
这里写图片描述

所有可能的模型函数的集合称为假设空间， $H=\left \{ f|Y=f(X) \right \}$ 。
对于所有的模型函数集合，可能不知道是该用用逻辑回归模型、或贝叶斯模型、或神经网络模型还是用支持向量机模型。这个过程通常是一个不断迭代的过程，只有在不断地尝试比较才知道哪个模型比较好。
假设选定一个模型f，对于输入X，预测值为f(X)，预测值与Y可能存在差别，这个差别用损失函数L(Y,f(X))表示，而平均损失则称为经验风险，记为 $R_{emp}(f)=\frac{1}{N}\sum_{i=1}^{N}L(y_{i},f(x_{i}))$ 。
为了得到最优的模型需要将经验风险最小化， $\min R_{emp}(f)$ ，即 $\min\frac{1}{N}\sum_{i=1}^{N}L(y_{i},f(x_{i}))$ 。
当样本数较少时，有时会为了迎合经验风险最小化而导致过拟合现象，这时需要引入正则项，这也是符合奥卡姆剃刀原理。则变为 $R_{srm}(f)=\frac{1}{N}\sum_{i=1}^{N}L(y_{i},f(x_{i}))+\lambda \Omega(f)$ ，模型f越复杂，复杂度就越大，复杂度是对模型复杂程度的惩罚。

0-1损失函数
$L(Y,f(X))=\begin{cases}1,& \text{Y != f(X)}\\0& \text{Y = f(X)}\end{cases}$
平方损失函数
$L(Y,f(X))=(Y-f(X))^{2}$
绝对损失函数 $L(Y,f(X))=|(Y-f(X))|$
对数损失函数 $L(Y,P(Y|X))=-logP(Y|X)$

使用训练方法学习到的模型对未知数据的预测能力。一般通过泛化误差来评价一个模型的泛化能力，泛化误差越小，模型的泛化能力就越强。

所有可能的模型中，能够很好地解释已知数据并且十分简单的才是最好的模型，从贝叶斯估计角度看，正则化项对应于模型的先验概率，负责的模型有较小的先验概率，简单的模型有较大的先验概率。

监督学习就是在正则化项约束下去寻找最小化误差的模型。

========广告时间========

公众号的菜单已分为“分布式”、“机器学习”、“深度学习”、“NLP”、“Java深度”、“Java并发核心”、“JDK源码”、“Tomcat内核”等，可能有一款适合你的胃口。

鄙人的新书《Tomcat内核设计剖析》已经在京东销售了，有需要的朋友可以购买。感谢各位朋友。

=========================

欢迎关注：
这里写图片描述