第3章 K近邻算法
k近邻算法(kNN)是一种基本分类和回归方法。本书只讨论分类问题中的k近邻算法。k近邻算法的输入为实例的特征向量,对应于特征空间的点;输出为实例的类别,可以取多类。
k近邻法假设给定一个训练数据集,其中的实例类别已定。分类时,对新的实例,根据其k个最近邻的训练实例的类别,通过多数表决等方式进行预测。因此,k近邻法不具有显式的学习过程。
3.1 k近邻算法
输入:训练数据集
其中,为实例的特征向量,为实例的类别,i=1,2,...,N;实例特征向量x;
输出:实例x所属的类y
(1)根据给定的距离度量,在训练集T中找出与x最近邻的k个点,涵盖这k个点的x的邻域记作;
(2)在中根据分类决策规则(如多数表决)决定x的类别y;
k近邻法的特殊情形是k=1,称为最近邻算法。对于输入的实例点,最近邻法将训练数据集中与x最近邻点的类别作为x的类别。
3.2 k近邻模型
3.2.1 模型
k近邻算法中,当训练集、距离度量(如欧氏距离)、k值及分类决策规则(如多数表决)确定后,对于任何一个新的输入实例,他所属的类别将唯一的确定。这相当于根据上诉要素将特征空间划分为一些子空间,确定子空间里每个点所属的类。
3.2.2 距离度量
设特征空间是n维实数向量空间,的距离定义为:
当p=2时,称为欧氏距离;当p=1时称为曼哈顿距离;当p为无穷大时,是各个坐标距离的最大值,即:
3.2.3 k值的选择
k值的选择会产生不同的影响。
如果选择较小的k值,那么只有与输入点距离很近的点会对预测起作用。预测结果对该点附近的点非常敏感,如果附近的点有较多噪点,那么最终误差会较大。或者说当k值减小时,模型整体变得复杂,容易过拟合。
如果选择较大的k值,那么与输入点距离较远的点也会对预测起作用,但是他可能与输入点根本就不相似,也不是一类。所以误差也会增大。
在实际当中,通常用交叉验证来选取最优的k值。
3.3 k近邻法的实现:kd树
k近邻最简单的实现方法是线性扫描,也就是计算输入实例与每一个训练实例的距离。当训练集很大时,计算非常耗时。因此为了提高k近邻搜索的效率,可以考虑使用特殊的结构存储训练数据,以减少计算距离的次数。
3.3.1 构造kd树
输入:k维空间数据集
输出:kd树
(1)开始:构造根结点,根结点对应于包含T的k维空间的超矩形区域。
选择为坐标轴,以T中所有实例的坐标的中位数为切分点,将根结点对应的超矩形区域切分为两个子区域。切分由通过切分点与坐标轴垂直的超平面实现。
由根结点生成深度为1的左、右子结点;左子结点对应坐标小于切分点的子区域,右子结点对应坐标大于切分点的子区域。
将落在切分超平面上的实例点保存在根结点。
(2)重复:对深度为j的结点,选择为切分的坐标轴,,以该节点的区域中所有实例的坐标的中位数为切分点,将该节点对应超矩形区域且分为两个子区域。切分由通过切分点并与坐标轴垂直的超平面实现。
由该节点生成深度为j+1的左、右子结点; 左子结点对应坐标小于切分点的子区域,右子结点对应坐标大于切分点的子区域。
将落在切分超平面上的实例点保存在该节点。
(3)直到两个子区域没有实例点存在时停止。从而形成kd树的区域划分。
PS:选择训练实例点在选定坐标轴上的中位数为切分点,这样得到的kd树是平衡的。注意,平衡的kd树搜索时的效率未必是最优的。
3.3.2 搜索Kd树
主要是如何利用kd树进行k近邻搜索的方法,暂不做介绍。