李哈哈的模式识别笔记【part 3：感知器算法】
线性分类器训练的一般思路
人类的思维具有整体性和逻辑性，机器的思维擅长重复性
解区域：
线性判别函数解不唯一，而是位于一个区域，称为解区域。
=>权向量w待定，偏移量w0待定。
一般思路：
- 首先设定一个标量的准则函数，使其值能够代表解的优劣程度，标准函数值越小，说明解越符合要求。
- 通过寻找标准函数的最小值，就能找到最优的一个解，使准则函数取得极小值的增光权向量，就是最优解。
这里有必要重新认识一下线性判别函数的通式，可参照下图：
感知器算法的原理
感知器模型：
是一种最简单的神经元模型，具有多个输入和一个输出，各输入加权求和，与阈值相比较，判断是否激活输出1。
由此可见，感知器模型是一种线性分类器，可以做出二分类决策
准则函数：错分样本的判别函数值之和（Important）
寻优方式：梯度下降法，逐次寻优
不同的具体寻优方式可能出现不同的最优解
哪个才是最优解呢？
在感知器模型中，都是最优解，因为准则函数只与能否将所有样本都正确分类有关，所以只要能够正确分类，就为最优解。
感知器算法的学习速率
感知器算法权向量调整递推公式如下：
这里的调整步长ρ可以体现调整速率。
另外，调整精度和速度之间是存在矛盾的。
学习速率的各种不同的设定方法：
- 固定值
- 绝对修正
- 部分修正
- 变步长法
- 最优步长法
感知器算法的深入分析
- 感知器算法是首个采用误差反馈学习规则来实现的机器学习算法，模拟了人类的试错过程，逐步逼近客观规律。
损失函数：
模型得到的输出和样本对应的真实输出之间的差别，成为损失函数。
代价函数：
对具有一定分布的整体的损失函数的数学期望，称为代价函数。
梯度下降的优化方法
批量梯度法 BGD：
对所有成员进行梯度运算，找到代价函数值减小的方向，但计算量相当巨大。
随机梯度下降法 SGD：
每次采用随机的方式寻找权向量，大大降低了运算量，提升了学习速率，同时可以随时加入新的成员，可以实现在线学习。
