1.1 KNN概述
K最近邻(k-Nearest Neighbor,KNN)分类算法是最简单的机器学习算法。
KNN算法的指导思想是“近朱者赤,近墨者黑”,由你的邻居来推断你的类型。
本质上,KNN算法就是用距离来衡量样本之间的相似度。
1.2 算法图示
- 从训练集中找到和新数据最接近的k条记录,然后根据多数类来决定新数据类别
- 算法涉及3个主要因素
- 1) 训练数据集
- 2) 距离或相似度的计算衡量
- 3) k的大小
- 算法描述
- 1) 已知两类“先验”数据,分别是蓝方块和红三角,他们分布在一个二维空间中;
- 2) 有一个未知类别的数据(绿点),需要判断它是属于“蓝方块”还是“红三角”类;
- 3) 考察离绿点最近的3个(或k个)数据点的类别,占多数的类别即为绿点判定类别;
1.3 算法要点
1.3.1 计算步骤
计算步骤如下:
1) 算距离:给定测试对象,计算它与训练集中的每个对象的距离;
2) 找邻居:圈定距离最近的k个训练对象,作为测试对象的近邻;
3) 做分类:根据这k个近邻归属的主要类别,来对测试对象分类;