-
第一章 统计学习方法概论
目录
统计学习
-
统计学习特点
1.平 台:计算机及网络
2.研究对象:数据,是数据驱动的学科
3.目 的:对数据进行预测和分析
4.中 心:方法,构建模型并应用模型进行预测和分析
5.交叉学科:概率论、统计学、信息论、计算理论、最优化理论及计算机科学等多个领域的交叉学科。
-
统计学习对象
1.面向的对象是数据(离散和连续)
2.数据-----提取数据特征-----抽象数据模型-----发现数据中的知识-----对数据进行分析和预测
-
统计学习目的
1.对数据-尤其是未知数据 进行预测和分析
2. 通过构建概论统计模型
3.考虑学习什么样的模型和如何学习模型
-
统计学习分类
1.监督学习(supervised leaning)
2.无监督学习(unsupervised leaning)
3.半监督学习(semi-supervised leaning)
4.强化学习(reinfoucement leaning)
-
统计学习方法三要素
1.统计学习方法=模型+策略+算法
2.模型(model):找到一个能够解决问题的条件概率或者决策函数。
3.策略(strategy):找到一个能够可以优化模型(或者衡量模型的)损失函数(比如0-1损失)
4.算法(algorithm):找到一种可以优化损失函数的方法(比如:梯度下降法)
-
统计学方法步骤
1 得到一个有限的训练数据集
2 确定假设空间(即所有可能的模型)
3 确定选择模型的准则(即策略)
4 实现求解最优化模型的算法(即算法)
5 选择最优模型
6 利用最优模型对新来的数据进行预测和分析
监督学习
1.监督学习是本书的主要学习内容
2.监督学习从训练数据(traning data)集合中学习模型,对测试数据(test data)进行预测
训练数据由输入(特征向量)输出对组成,通常表示为
假设输入变量用X表示,输出变量用Y表示,并假设输入与输出的随机变量X和Y满足联合概率分布P(X,Y),监督学习问题的模型如下所示:
这个模型可以理解为:将训练集输入到学习系统—->根据决策方法学习一个最优的模型—–>利用这个最优的模型对新来的数据进行预测。
预测任务分类
根据输入、输出变量的不同可以把预测任务分为以下三类:
1.回归问题-----输入变量与输出变量均为连续变量的预测问题;
2.分类问题------输出变量为有限个离散变量的预测问题;
3.标注问题------输入变量与输出变量均为变量序列的预侧问题.
4.他们的问题模型只需要把上图中的“预测系统”改为“分类系统”、“标注系统”即可
三要素
-
模型
在监督模型中,模型就是所要学习的条件概率或者决策函数
非概率模型:
概率模型:
-
策略
-
损失函数
损失函数(loss function)或代价函数(cost function)是用来度量模型的预测能力的。损失函数是 f (X)(预测值)和Y(真实值)之间的非负实值函数(因为两者之间的差值可以理解为两者之间的距离,是非负的。),记作L(Y, f (X)) 。
常用损失函数
(1) 0-1损失函数(0-1 loss function)
(2) 平方损失函数 (quadratic loss function)
(3) 绝对损失函数 (absolute loss function)
(4) 对数损失函数(logarithmic loss function)或对数似然损失函数 (loglikehood loss function)
当然还存在其他的损失函数比如:指数损失函数或者Hinge Loss等。损失函数值越小,代表模型越好,模型出现的误差越小。
-
经验损失或经验风险
由于模型的输入、输出(X,Y)是随机变量,遵循联合分布P(X,Y),所以损失函数的期望是:
这是理论上模型f (X)关于联合分布P(X,Y)的平均意义下的损失,称为风险函数(risk function)或期望损失(expected loss)。学习的日标就是选择期望风险最小的模型。由于,一方面根据期望风险最小化模型要用到联合概率分布,另一方面联合分布又是未知的,所以监督学习就成为一个病态问题!
在此我们提出另外一个概念:经验风险。(根据我自己的理解,“经验”一般是平均意义下东东,毕竟经验是需要积累的。)
模型f(x)关于训练数据集的平均损失称为经验风险(empirical risk)或经验损失(empirical loss):
期望风险Rexp(f)是模型关于联合分布的期望损失,经验风险Remp(f)是模型关于训练样本集的平均损失。根据大数定律,当样本容量N趋于无穷时,经验风险趋于期望风险。所以一个很自然的想法是用经验风险估计期望风险。但是,由于现实中训练样本数目有限,甚至很小,所以用经验风险估计期望风险常常并不理想,要对经验风险进行一定的矫正.这就关系到监督学习的两个基本策略:经验风险最小化和结构风险最小化.
-
经验风险最小化
经验风险最小化(empirical risk minimization, ERM),即求解最优化问题:
样本容量足够大时,经验风险最小化能保证有很好的学习效果(比如一个人的经验积累越多,判别力肯定会越好)但是当样本容量很小的时候,经验风险最小化的学习效果未必很好,可能会产生“过拟合(over-fitting)”现象。因此这时需要结构风险最小化。 例子:极大似然估计
-
结构风险最小化
结构风险最小化(structural risk minimization, SRM)(等价于正则化)是为了防止过拟合,在经验风险上加上表示模型复杂度的正则化项(regulatizer)或罚项(penalty term ),定义是:
其中J (f)为模型的复杂度(有的时候可以理解为模型所需要的参数个数?)
其中>=0是系数,用于权衡经验风险和模型复杂度
结构风险小需要经验风险与模型复杂度同时小。例子:贝叶斯估计中的最大后验概率估计
-
算法
统计学习基于训练数据集,根据学习策略,从假设空间选择最优模型,最好需要考虑用什么计算方法来求解最优模型 学习模型的具体计算方法。统计学习问题归结为最优化问题,统计学习的算法成为求解最优化问题的算法。如何找到全局最优解并使得求解的过程非常高效!