k-近邻算法的基本原理
对于未知类别属性数据集中的点：
（1）计算已知类别数据集中的每个点与当前点之间的距离；
使用欧式距离公式，计算两个向量点xA和xB之间的距离公式如下：
（2）按照距离递增次序排序；
（3）选取与当前点距离最小的k个点；
（4）确定前k个点所在类别的出现频率；
（5）返回前k个点出现频率最高的类别作为当前点的预测分类。
k-近邻算法的三要素
k值的选择、距离度量、分类决策规则
k-近邻算法的评价
（1）kNN算法本身简单有效，它是一种lazy-learning算法；
（2）分类器不需要使用训练集进行训练，训练时间复杂度为0；
（3）kNN分类的计算复杂度和训练集中的文档数目成正比，也就是说，如果训练集中文档总数为n，那么kNN的分类时间复杂度为O(n)
k-近邻算法的问题及解决方案
问题1：当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的k个邻居中大容量类的样本占多数。
解决：不同样本给予不同的权重项
问题2：数字差值最大的属性对计算结果的影响最大
解决：在处理不同取值范围的特征值时，通常采用的方法是将数值归一化，如将取值范围处理为0到1或者-1到1之间。
k-近邻算法的代码实现
#导入科学计算库
import numpy as np
#导入运算符模块
#k-近邻算法执行排序操作时将使用这个模块提供的函数
import operator as op
def createDataSet():
#定义6个训练样本集，每个样本有2个特征
group = np.array([[3,104],
[2,100],
[1,81],
[101,10],
[99,5],
[98,2]])
#定义每个样本点的标签值
labels = ['A','A','A','B','B','B']
return group,labels#k-近邻算法代码
#inX：待分类点；dataSet：训练数据集；labels：标签；k：最近邻居数目
def classify0(inX, dataSet, labels, k):
#dataSet.shape[0] ：第一维的长度（行）；dataSet.shape[1] ：第二维的长度（列）
dataSetSize = dataSet.shape[0]
#步骤1：计算距离
#作差：首先将待分类点inX复制成dataSetSize行1列，然后再和训练数据集中的数据作差（对应元素相减）
diffMat = np.tile(inX, (dataSetSize,1))-dataSet
#平方
sqDiffMat = diffMat ** 2
#按行求和
sqDistances = sqDiffMat.sum(axis = 1)
#开根
distances = sqDistances ** 0.5
#argsort()：返回的是数组值从小到大的索引值（注意是索引值）
sortedDistIndicies = distances.argsort()
#步骤2：选择距离最小的k个点
#classCount：字典 key/value键值
classCount={}
for i in range(k):
#返回距离较小的k个点labels值
voteIlabel = labels[sortedDistIndicies[i]]
#字典中的key取值value
#get()：返回指定键voteIlabel的值，如果值存在字典就加1，如果值不在字典中返回0
classCount[voteIlabel] = classCount.get(voteIlabel,0)+1
#步骤3：对字典classCount进行排序
#逆向排序，从大到小（出现次数value值）
#sortedClassCount：对字典排序 ，返回的是List列表,不再是Dictionary字典。
sortedClassCount = sorted(classCount.items(),
key=operator.itemgetter(1),
reverse=True)
#返回出现频率最高的元素标签
return sortedClassCount[0][0]classify0([18,90],group,labels,3)
附上本人的联系方式，欢迎各位前来交流探讨！
版权声明：本文为博主原创文章，未经博主允许不得转载。如要转载请与本人联系。