统计学习方法 第二章

感知机时二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。

感知机模型

假设输入空间（特征空间）是X⊆Rⁿ ，输出空间是y={+1,-1}.输入x∈X表示实例的特征向量，对应于输入空间（特征空间）的点；输出y∈Y表示实例的类别。

感知机是一种线性分类模型，属于判别模型。感知机模型的假设空间是定义在特征空间中的所有线性分类模型或线性分类器。

感知机学习策略

数据集的线性可分性

感知机学习策略

假设训练数据集是线性可分的，感知机学习的目标是求一个能够将训练集正实例点和负实例点能够完全分离的超平面。就是如何找w和b,需要确定一个学习策略，即定义（经验）损失函数并将损失函数极小化。

感知机学习的损失函数定义为

感知机学习的策略实在假设空间中选区使损失函数最小的模型参数w，b，即感知机模型。

感知机学习算法

最优化的方法使随机梯度下降法，

感知机学习算法的原始形式

感知机学习算法是误分类驱动的，具有采用随机梯度下降法

算法的收敛性

对于线性可分数据集感知机学习算法原始形式收敛，即经过有限次迭代可以得到一个将训练数据集完全正确划分的分离超平面及感知机模型。

感知机学习算法的对偶形式

将w和b表示为实例xi和yi的线性组合的形式，通过求解其系数而求得w和b,不失一般性