损失函数与风险函数
监督学习的任务就是学习一个模型作为决策函数，对于给定的输入X，给出相应的输出f(X)，这个输出的预测值f(X)与真实值Y可能一致也可能不一致，用一个损失函数(lossfunction)或代价函数(cost function)来度量预测错误的程度。损失函数是f(X)与Y的非负实值函数，记作L(Y,f(X))。
机器学习常用的损失函数有以下几种：
(1)0-1损失函数(0-1 loss function)
(2)平方损失函数(quadratic loss function)
(3)绝对损失函数(absolute loss function)
(4)对数损失函数(logarithmic loss function)或者对数似然损失函数(log-likelihoodfunction)
损失函数值越小，模型就越好。由于模型的输入、输出(X,Y)是随机变量，遵循联合分布P(X,Y)，所以损失函数的期望值是
这是理论上模型f(X)关于联合分布P(X,Y)的平均意义下的损失，称为风险函数(riskfunction)或期望损失(expected loss)。
损失函数度量模型一次预测的好坏，风险函数度量平均意义下模型的好坏。
学习的目标就是选择期望风险最小的模型。由于联合分布P(X,Y)是未知的，Rexp(f)不能直接计算。实际上，如果知道了联合分布P(X,Y)，可以从联合分布直接求出条件概率分布P(Y|X)，也就不需要学习了。正因为不知道联合概率分布，所以才需要进行学习。这样一来，一方面根据期望风险最小学习模型要用到联合分布，另一方面联合分布又是未知的，所以监督学习就成为一个病态问题。
给定一个训练数据集
模型f(X)关于训练数集的平均损失称为经验风险(empiricalrisk)或者经验损失(empirical loss)，记作Remp：
期望风险Rexp(f)是模型关于联合分布的期望损失，经验风险Remp(f)是模型关于训练样本集的平均损失。根据大数定律，当样本容量N趋于无穷时，经验风险Remp(f)趋于期望风险Rexp(f)。所以一个很自然的想法是用经验风险估计期望风险。但是，由于现实中的训练样本数目有限，甚至很小，所以用经验风险估计期望风险常常并不理想，要对经验风险进行一定的矫正。这就关系到监督学习的两个基本策略：经验风险最小化和结构风险最小化。见下一篇博文~