KNN和K-Means算法

一、KNN算法

1、KNN算法介绍

https://wizardforcel.gitbooks.io/dm-algo-top10/content/knn.html

2、KNN算法例子

import numpy as np
import matplotlib.pyplot as plt
import operator

def createDataSet():
    '''创建数据'''
    #创建一个二维数组(4, 2)
    group = np.array([
        [1.0,1.1],
        [1.0,1.0],
        [0,0],
        [0,0.1]
    ])
    #定义好对应的标签
    labels = ['A','A','B','B']
    return group,labels

def classify(inX,dataset,labels,k):
    '''分类'''
    dataSetSize = dataset.shape[0] #获取0轴的值，第一个维度的值  4
    diffMat = np.tile(inX,(dataSetSize,1))-dataset  #广播，然后用新数组减去原先的数组
    # print(diffMat)
    sqDiffMat = diffMat**2   #取diffMat的平方值
    sqDistance = sqDiffMat.sum(axis=1)  #求和，把1轴中每个数组中的和 [0.61 0.5  0.5  0.41]
    distance = sqDistance ** 0.5   #对sqDistance进行开方，即获取当前点和其它4个点的距离
    sortedDistanceIndex = distance.argsort()  #对索引排序,对数值从小到大排序

    #存放最终的投票结果
    classCount = {}

    #循环k值对应的次数
    for i in range(k):
        voteIlabel = labels[sortedDistanceIndex[i]]  #根据k值的数量，选出上面排序后，前面的标签名称，即A或者B
        classCount[voteIlabel] = classCount.get(voteIlabel,0)+1 #对相应的标签出现的数量计数
    print(classCount)
    #排序，将次数最多的排到第一的位置
    sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    return sortedClassCount[0][0]  #返回最多值的名称

def show_data(group,labels):
    '''画图'''
    labels = np.array(labels)
    index_a = np.where(labels == "A") #获取A的下标
    index_b = np.where(labels == "B") #获取B的下标
    #画图，A点为红色，B点为绿色
    for i in labels:
        if i == "A":
            plt.scatter(group[index_a][:,:1],group[index_a][:,1:2],c='red')
        elif i == "B":
            plt.scatter(group[index_b][:,:1],group[index_b][:,1:2],c="green")
    plt.show() #显示
if __name__ == '__main__':
    #导入数据
    dataSet,labels = createDataSet()
    #新数据坐标
    inX = [0.5,0.5]
    #定义k值
    k = 3
    className = classify(inX,dataSet,labels,k)  #获取新数据的类型，即标签A或B（前面定义的标签）
    print("该数据属于{}类".format(className))
    dataSet = np.vstack((dataSet,inX)) #把新数据坐标加入数据中
    labels.append(className)  #将新数据的标签加入labels中
    show_data(dataSet,labels) #画图

二、K-Means算法

1、kmeans算法介绍

https://www.cnblogs.com/pinard/p/6164214.html

2、kmeans算法例子

import numpy as np
import matplotlib.pyplot as plt

# 加载数据
def loadDataSet(fileName):
    data = np.loadtxt(fileName,delimiter='\t')  #按照符号\t分隔
    print(data.shape)   #(10, 2)
    return data

# 欧氏距离计算
def distEclud(x,y):
    return np.sqrt(np.sum((x-y)**2))  # 计算欧氏距离

# 为给定数据集构建一个包含K个随机质心的集合
def randCent(dataSet,k):
    m,n = dataSet.shape #m为数据的个数,n为数据长度
    centroids = np.zeros((k,n))  #创建(k,n)的0数组，用于初始化质心
    print(dataSet[5,:])
    for i in range(k):
        index = int(np.random.uniform(0,m))  #使用uniform均匀分布获取0-m的随机数值
        centroids[i,:] = dataSet[index,:]  #生成质心的坐标
    return centroids  #返回质心的列表坐标


# k均值聚类
def KMeans(dataSet,k):

    m = np.shape(dataSet)[0]  #行的数目
    # 第一列存样本属于哪一簇
    # 第二列存样本的到簇的中心点的误差
    clusterAssment = np.mat(np.zeros((m,2)))  #创建(m, 2)的0数组
    clusterChange = True

    # 第1步 初始化centroids
    centroids = randCent(dataSet,k)

    while clusterChange:
        clusterChange = False

        # 遍历所有的样本（行数）
        for i in range(m):
            minDist = 100000.0
            minIndex = -1

            # 遍历所有的质心
            #第2步 找出最近的质心
            for j in range(k):
                # 计算该样本到质心的欧式距离
                distance = distEclud(centroids[j,:],dataSet[i,:])
                if distance < minDist:
                    minDist = distance
                    minIndex = j
            # 第 3 步：更新每一行样本所属的簇
            if clusterAssment[i,0] != minIndex:
                clusterChange = True
                clusterAssment[i,:] = minIndex,minDist**2

        #第 4 步：更新质心
        for j in range(k):
            pointsInCluster = dataSet[np.nonzero(clusterAssment[:,0] == j)[0]]  # 获取簇类所有的点
            centroids[j,:] = np.mean(pointsInCluster,axis=0)   # 对矩阵的行求均值

    print('===========',centroids)
    print("Congratulations,cluster complete!")
    print(clusterAssment)
    return centroids,clusterAssment  #返回centroids质心坐标，质心对应的聚类结果

def showCluster(dataSet,k,centroids,clusterAssment):
    '''画图显示'''

    m,n = dataSet.shape
    if n != 2:
        print("数据不是二维的")
        return 1

    #定义点的颜色和风格
    mark = ['or', 'ob', 'og', 'ok', '^r', '+r', 'sr', 'dr', '<r', 'pr']
    if k > len(mark):
        print("k值太大了")
        return 1

    # 绘制所有的样本
    for i in range(m):
        markIndex = int(clusterAssment[i,0])
        plt.plot(dataSet[i,0],dataSet[i,1],mark[markIndex])

    #定义质心的颜色和风格
    mark = ['Dr', 'Db', 'Dg', 'Dk', '^b', '+b', 'sb', 'db', '<b', 'pb']
    # 绘制质心
    for i in range(k):
        plt.plot(centroids[i,0],centroids[i,1],mark[i])

    plt.show()
#导入数据
'''
1.65    4.28
-3.45    3.42
4.84    -1.15
-5.37    -3.36
0.97    2.92
-3.57    1.53
0.45    -3.30
-3.49    -1.72
2.67    1.59
-3.16    3.19
'''

if  __name__  == '__main__':
    dataSet = loadDataSet("test.txt")
    print(dataSet)
    #定义质心数
    k = 4
    centroids,clusterAssment = KMeans(dataSet,k)
    showCluster(dataSet,k,centroids,clusterAssment)