KNN分类算法原理及应用

1.1 KNN概述

K最近邻（k-Nearest Neighbor，KNN）分类算法是最简单的机器学习算法。

KNN算法的指导思想是“近朱者赤，近墨者黑”，由你的邻居来推断你的类型。

本质上，KNN算法就是用距离来衡量样本之间的相似度。

1.2 算法图示

• 从训练集中找到和新数据最接近的k条记录，然后根据多数类来决定新数据类别
• 算法涉及3个主要因素
  • 1) 训练数据集
  • 2) 距离或相似度的计算衡量
  • 3) k的大小

        

• 算法描述
• 1) 已知两类“先验”数据，分别是蓝方块和红三角，他们分布在一个二维空间中；
• 2) 有一个未知类别的数据(绿点)，需要判断它是属于“蓝方块”还是“红三角”类；
• 3) 考察离绿点最近的3个(或k个)数据点的类别，占多数的类别即为绿点判定类别；

1.3 算法要点

1.3.1 计算步骤

计算步骤如下：

         1) 算距离：给定测试对象，计算它与训练集中的每个对象的距离；

          2) 找邻居：圈定距离最近的k个训练对象，作为测试对象的近邻；

          3) 做分类：根据这k个近邻归属的主要类别，来对测试对象分类；