统计学习方法读书笔记（二）-感知机

全部笔记的汇总贴：统计学习方法读书笔记汇总贴

PDF免费下载：《统计学习方法（第二版）》

一、感知机模型

假设输入空间（特征空间）是$X\subseteq {\mathbb{R}}^n$， 输出空间是 Y = { + 1 , − 1 } Y=\{+1,-1\} Y={ +1,−1}。输入$x\in X$表示实例的特征向量，对应于输入空间（特征空间）的点； 输出$y\in Y$表示实例的类别。 由输入空间到输出空间的如下函数：
$$f(x)=sign(w\cdot x+b)$$
称为感知机。其中，$w$和$b$为感知机模型参数，$w\in {\mathbb{R}}^n$ 叫作权值（weight ）或权值向 量（weight vector ) , $b\in \mathbb{R}$叫作偏置（bias), $w•x$表示$\omega$和$x$的内积。sign是符号函数， 即$$sign(x)=\{\begin{array}{c}+1,x\ge 0\\ \\ -1,x<0\end{array}$$

感知机预测，就是通过学习得到的感知机模型，对于新的输入实例给出其对应的输出类别。

二、感知机学习策略

数据集一定要线性可分。感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面。为了找出这样的超平面，即确定感知机模型参数$w,b$，需要确定一个学习策略，即定义（经验）损失函数井将损失函数极小化。

选择损失函数的两种原则：

1. 误分类点的总数
2. 误分类点到超平面$S$的总距离（感知机是通过这种方法）

对于误分类点数据$(x_i,y_i)$，它的$y_i$一定与$w\cdot x_i+b$异号，即：
$$-y_i(w\cdot x_i+b)>0$$
所以误分类点$x_i$到超平面$S$的距离为，$$-\frac{1}{||w||}{y}_i(w\cdot x_i+b)$$
其中，$||w||$是$w$的$L_2$范式。我们假设误分类点的集合为$M$，所以误分类点到超平面的总距离为，
$$-\frac{1}{||w||}\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$
不考虑$\frac{1}{||w||}$，就得到感知机学习的损失函数，即，
$$L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$
这个损失函数就是感知机学习的经验风险函数。如果没有误分类点 ，损失函数值是0。而且， 误分类点越少，误分类点离超平面越近，损失函数值 就越小。

三、感知机学习算法

原始形式

假设误分类点集合$M$是固定的，那么损失函数$L(w,b)$的梯度由
$$\begin{gathered} {\nabla }_{w}L(w,b)=-\sum _{x_i\in M}{y}_i{x}_i \\ {\nabla }_{b}L(w,b)=-\sum _{x_i\in M}{y}_i \end{gathered}$$
给出。所以可以随机选取一个误分类点数据$(x_i,y_i)$，对$w,b$进行更新：
$$\begin{gathered} w^{\prime }=w+\eta y_i{x}_i \\ {b}^{\prime }=b+\eta y_i \end{gathered}$$
其中$\eta (0<\eta \le 1)$是步长，在统计学习 中又称为学习率<learning rate）。这样，通过迭代可以期待损失函数$L(w,b)$不断减小，直到为0。

算法为：

1. 选取初值$w_0,b_0$;
2. 在训练集中选取数据$(x_i,y_i)$;
3. 如果$y_i(w\cdot x_i+b)\le 0$,
   $$\begin{gathered} w\leftarrow w+\eta y_i{x}_i \\ b\leftarrow b+\eta y_i \end{gathered}$$
4. 转至2，直至训练集中没有误分类点。

可以自行推算一下P40的例2.1。

算法原始形式的收敛性

算法的收敛性证明也可以之间看P42的定理2.1。（其实也不是很重要，根据经验分析很容易可以想到，对于一个线性可分的数据集，最后的误分类次数$k$一定是有一个上界的，经过有限次搜索可以找到将训练数据完全正确分开的分离超平面。也就是说， 当训练数据集线性可分时，感知机学习算法原始形式法代是收敛的。）

对偶形式

逐步修改$w,b$，设修改$n$次，则$w,b$关于$(x_i,y_i)$的增量分别是${\alpha }_i{y}_i{x}_i$和${\alpha }_i{y}_i$，这里${\alpha }_i=n_i\eta$。这样，从学习过程不难看出，最后学习到的$w,b$可以分别表示为$$\begin{gathered} w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i \\ b=\sum _{i=1}^N{\alpha }_i{y}_i \end{gathered}$$
这里，${\alpha }_i\ge 0,i=1,2,\cdots ,N$，当$\eta =1$时，表示第$i$个实例点由于误分而进行更新的次数。实例点更新次数越多，意味着它距离分离超平面越近，也就越难正确分类。也就是说，这样的实例对学习结果影响最大。

我们可以推导一遍书P45的例2.2，可以很快的掌握对偶形式的感知机算法的优化过程。

下一章传送门：统计学习方法读书笔记（三）-k近邻法