机器学习 - 感知器

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/weixin_37352167/article/details/84838773

• 二分类线性模型

  $f(x) = sign(w·x+b)，sign(x) = \begin{cases} +1，x\geq0\\ -1，x>0\\ \end{cases}$

  $\bullet$ 当满足： $y_i = +1，w·x_i+b\ge0，且 y_i=-1，w·x+b<0 时$，称该数据集线性可分。

  当数据集线性可分时，感知器可以收敛；当数据集线性不可分时，感知器不收敛，发生震荡。

• 损失函数

  损失函数被构建为，所有误分类点到超平面的总距离。

  （点到线距离公式： $d = \frac{| w·x+b |}{\sqrt{||w||_2}}$）

  即， $L(w,b)=-\frac{1}{||w||_2}\sum_{x_i∈X}y_i(w·x_i+b)$，

  若不考虑 $-\frac{1}{||w||_2}$ ，则得到 $L(w,b)=\sum_{x_i∈X}y_i(w·x_i+b)$

• 梯度下降更新参数

  $w:=w+η·y_ix_i$

  $b:=b+η·y_i$

  若 $y_i(w·x_i+b)\ge0$ 意味着 $y_i 与 w·x_i+b$ 同号，分类正确；
  若 $y_i(w·x_i+b)<0$ 意味着 $y_i 与 w·x_i+b$ 异号，分类错误；

  应当在 $y_i(w·x_i+b)<0$ 时进行修正，即 $x_i$ 位于超平面错误一侧时调整 $w,b$ ，使超平面向误分类点一侧移动。

• 线性分类器的理解

  1. 空间划分角度

     将每个样本中提取出的特征视为空间中的点坐标，则 $w·x+b$ 是一个超平面，可以将不同类别的样本划分开。

     当一个超平面无法区分样本，达到最好划分效果时，可以使用多个超平面进行划分，每一个 $w·x+b$ 都对应一个超平面。

  2. 模板匹配角度

     将 $w,b$ 视为模板， $x_i$ 代入计算后得出的值视为匹配度。