统计学习方法——第2章感知机（个人笔记）

统计学习方法——第2章感知机（个人笔记）

参考《统计学习方法》（第二版）李航

感知机就是二分类的线性分类模型，输入为特征向量，输出只为+1、-1。

2.1 感知机模型

模型为：

其中，为权重or权值，为偏置，为特征向量。

为符号函数：

假设感知机在二维平面，感知机可为线性方程：

例图如下，

 感知机为超平面，为超平面的法向量，为超平面的截距。

2.2 感知机学习策略

2.2.1 数据集的线性可分性

给定一个数据集：

如果存在感知机模型（即为超平面S）使得数据集的正样本和负样本完全正确划分，则称为T为线性可分数据集，反之，为线性不可分数据集。

2.2.2 感知机学习策略

感知机的学习目标就是找到能将训练集的正负样本分开的超平面，也就是确定模型参数。

学习策略就是找到损失函数并使损失函数极小化。

首先，输入空间任意一点到超平面S的距离为：

其中，为的范数。

对于误分类的数据：

恒成立，当，,当，。

这样，所有误分类点到超平面S的距离为：

若不考虑，则损失函数为

若没有误分类点，损失函数为0。

2.3 感知机学习算法

2.3.1 感知机学习算法的原始形式

求参数，使得

对分别求导，

随机选取误分类点，w,b进行更新

其中，为学习步长。

一直更新，直至没有误分类点。

2.3.2 算法的收敛性

略

2.3.3感知学习算法的对偶形式

对偶形式的基本想法是，将w和b表示为实例和标记的线性组合的形式通过求解其系数来求得w和b。

 

假设修改N次，令，则上式变为

算法2.2 感知机学习算法的对偶形式

感知机模型：

（1）a=0,b=0

（2）训练集选取

（3）如果 ，则

（4）转至（2）直至没有误分类数据。