基本概念
线性可分：在特征空间中可以用一个线性分界面正确无误地分开两 类样本；采用增广样本向量，即存 在合适的增广权向量 a 使得：
则称样本是线性可分的。如下图中左图线性可分，右图不可分。所有满足条件的权向量称为解向量。权值空间中所有解向量组成的区域称为解区。
通常对解区限制：引入余量b，要求解向量满足：
使解更可靠（推广性更强），防止优化算法收敛到解区的边界。
感知准则函数及求解
对于权向量a，如果某个样本yk被错误分类，则
其中Yk是被a错分的样本集合。当且仅当JP(a*) = min JP(a) = 0 时，a*是解向量。这就是Rosenblatt提出的感知器（Perceptron）准则函数。
扫描二维码关注公众号，回复：
1609479 查看本文章
感知器准则函数的最小化可以使用梯度下降迭代算法求解：
其中，k为迭代次数，η为调整的步长。即下一次迭代的权向量是把当前时刻的权向量向目标函数的负梯度方向调整一个修正量。
因此，迭代修正的公式为：
即在每一步迭代时把错分的样本按照某个系数叠加到权向量上。
通常情况，一次将所有错误样本进行修正不是效率最高的做法，更常用是每次只修正一个样本或一批样本的固定增量法：
收敛性讨论：可以证明，对于线性可分的样本集，采用这种梯度下降的迭代算法：
经过有限次修正后一定会收敛到一个解向量。
理论结论：只要训练样本集是线性可分的，对于任意的初值 a(1) ，经过有限次叠代，算法必定收敛。
感知器是最简单可以“学习”的机器，可以解决线性可分的问题。当样本线性不可分时，感知器算法不会收敛。实际应用中直接使用感知器的场合并不多，但他是很多复杂算法的基础。