统计学习方法：感知机 (二)

感知机：线性分类模型；二分类；输入为特征向量，输出为实例类别 (+1或-1)；判别模型。

公式：

线性可分：存在某个超平面，能够将正例和负例划分到超平面两侧。

损失函数：其中M为误分类点的集合

梯度：沿着梯度方向函数值增长最快

随机梯度下降法：随机挑选一个误分类点，即满足y(wx+b)<=0，使其梯度下降

根据随机梯度下降法，我们可以发现直到收敛，w和b可以表示为：

其中每一个代表使用每个样本i进行更新对应的权重。

这样感知机模型就变为：

所以使用对偶形式，感知机的最优求解可以变为：

1. 计算Gram矩阵，即
2. 在训练集中选取数据 (xi,yi)，如果，则进行更新，更新方式如下：