二类线性分类模型-感知机

1.感知机模型

输出空间 y = { + 1 , − 1 } y=\{+1,-1\} y={ +1,−1},由输入空间到输出空间的如下函数：
$$f(x)=sign(w\cdot x+b)$$
称之为感知机。
符号函数：
$$sign(x)=\{\begin{array}{ll}+1& \text{x >=0}\\ -1& \text{x < 0}\end{array}$$

感知机有如下几何解释：线性方程：
$$w\cdot x+b=0$$
对应于特征空间$R^n$的一个超平面S，其中$w$是超平面的法向量，b是超平面的截距。这个超平面将特征空间划分为两个部分。位于两部分的点(特征向量)分别被分为正、负两类。所以S被称为分离超平面。

2.感知机学习策略

2.1 数据集的线性可分

对于 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . . . . ( x n , y n ) } T=\{(x_1,y_1),(x_2,y_2),......(x_n,y_n)\} T={ (x1​,y1​),(x2​,y2​),......(xn​,yn​)},如果存在一个分离超平面能将数据集的正负实例正确划分到两侧，则这个数据集为线性可分数据集。

2.2 感知机学习策略

为了找出一个分离超平面，即确定感知机模型参数$w,b$，需要确定一个学习策略，即定义损失函数并将损失函数极小化。

损失函数的一个自然选择是误分类点的总数。但是，这样的损失函数不是参数$w,b$的连续可导函数，不易优化。

损失函数的另外选则是误分类点到超平面的总距离。
任一点$x_0$到超平面的距离：
$$\frac{1}{||w||}|w\cdot x_0+b|$$
其次，对于误分类的数据$(x_i,y_i)$来说，
$$-y_i(w\cdot x_i+b)>0$$
因此，误分类点$x_i$到超平面的距离是：
$$-\frac{1}{||w||}{y}_i(w\cdot x_i+b)$$
假设超平面的误分类点集合为$M$，那么所有误分类点到超平面的总距离为：
$$-\frac{1}{||w||}\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$
不考虑$\frac{1}{||w||}$,这就是感知机学习的损失函数：
$$L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$
感知机的学习策略是在假设空间中选取使损失函数最小的模型参数$w,b$，即感知机模型。

3.感知机学习算法

3.1 原始形式

求参数$w,b$，使其为以下损失函数极小化问题的解：
$$mi{n}_{w,b}L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$

感知机学习算法是误差分类驱动的，具体采用随机梯度下降法。
首先，任意选取一个超平面$w_0,b_0$,然后用梯度下降法不断极小化目标函数。极小化过程不是一次使$M$中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。

此算法可以这么直观的理解：当一个实例点被误分类，即位于分离超平面的错误一侧时，则调整$w,b$的值，使分离超平面向该误分类点的一侧移动，以减少误分类点与超平面间的距离，直至超平面越过该分类点使其正确分类。

3.2 感知机学习算法的对偶形式

由前面原始形式可知，感知机模型：
$$f(x)=sign(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b)$$

• 1.$\alpha ,b=0$
• 2.在训练集中选取数据$(x_i,y_i)$
• 3.如果$y_i({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b)\le 0$,则${\alpha }_i={\alpha }_i+\eta$,$b=b+\eta y_i$
• 4.直至所有数据都被正确分类

参考：统计学习方法第二版