摘要
K-means聚类算法是一个简单易懂的无监督学习算法。本文主要介绍K-means聚类算法，以及二分K-means算法。
目录
一、引言
我们都知道每一届的美国总统大选，那叫一个竞争激烈。可以说，谁拿到了各个州尽可能多的选票，谁选举获胜的几率就会非常大。我们应该知道2004年的总统大选中，候选人的得票数非常接近，接近到什么程度呢？如果1%的选民将手中的选票投向任何一位候选人，都直接决定了总统的归属。那么这个时候，这1%的选民手中的选票就非常关键，因为他们的选票将直接对选举结果产生非常大的影响，所以，如果能够妥善加以引导和吸引，那么这很少的一部分选民还是极有可能会转换立场的。那么如何找出这类选民，以及如何在有限的预算下采取措施来吸引他们呢？
答案就是聚类，这就要说到本次要讲到的K-means算法了。通过收集用户的信息，可以同时收集用户满意和不满意的信息；然后将这些信息输入到聚类算法中，就会得到很多的簇；接着，对聚类结果中的每一个簇(最好是最大簇)，精心构造能吸引该簇选民的信息，加以引导；最后，再开展竞选活动并观察上述做法是否有效。而，一旦算法有效，那么就会对选举结果产生非常大的影响，甚至，直接决定了最后的总统归属。
可见，聚类算法是一个非常了不起的算法。下面，我们就正式开始今天的新算法，K-means聚类算法。
二、K-means聚类算法
2.1 K-means算法简介
聚类是一种无监督的学习，它将相似的对象归到同一簇中。聚类的方法几乎可以应用所有对象，簇内的对象越相似，聚类的效果就越好。K-means算法中的k表示的是聚类为k个簇，means代表取每一个聚类中数据值的均值作为该簇的中心，或者称为质心，即用每一个的类的质心对该簇进行描述。
聚类和分类最大的不同在于，分类的目标是事先已知的，而聚类则不一样，聚类事先不知道目标变量是什么，类别没有像分类那样被预先定义出来，所以，聚类有时也叫无监督学习。
聚类分析试图将相似的对象归入同一簇，将不相似的对象归为不同簇，那么，显然需要一种合适的相似度计算方法，我们已知的有很多相似度的计算方法，比如欧氏距离，余弦距离，汉明距离等。事实上，我们应该根据具体的应用来选取合适的相似度计算方法。
2.2 K-means算法原理
基本K-Means算法的思想很简单，事先确定常数K，常数K意味着最终的聚类类别数，
（1）首先随机选定初始点为质心，并通过计算每一个样本与质心之间的相似度(这里为欧式距离)，将样本点归到最相似的类中；
（2）接着，重新计算每个类的质心(即为类中心)，重复这样的过程，知道质心不再改变，最终就确定了每个样本所属的类别以及每个类的质心。
由于每次都要计算所有的样本与每一个质心之间的相似度，故在大规模的数据集上，K-Means算法的收敛速度比较慢。
伪代码如下：
创建K个点作为起始质心（经常是随机选择，但是不能越界，下面的代码有具体的做法）
当任意一个点的簇分配结果发生变化时
对数据集中的每一个数据点
对每个质心
计算质心与数据点的距离
将数据点分配到距离最近的簇
对于每一个簇，计算簇中所有点的均值并将均值作为质心
需要说明的是，在算法中，相似度的计算方法默认的是欧氏距离计算，当然也可以使用其他相似度计算函数，比如余弦距离；
算法中，k个类的初始化方式为随机初始化，并且初始化的质心必须在整个数据集的边界之内，这可以通过找到数据集每一维的最大值和最小值；
然后最小值+取值范围*0到1的随机数，来确保随机点在数据边界之内。
在实际的K-means算法中，采用计算质心-分配-重新计算质心的方式反复迭代，算法停止的条件是，当然数据集所有的点分配的距其最近的簇不在发生变化时，就停止分配，更新所有簇的质心后，返回k个类的质心(一般是向量的形式)组成的质心列表，以及存储各个数据点的分类结果和误差距离的平方的二维矩阵。
使用K-means算法测试效果如图所示。
图1 原始数据
图2 K-means聚类，k=4
2.3 K-means算法的缺陷与改进
2.3.1 局部最优
K-means算法除了可能受到离群点的影响之外，由于它采取的是随机初始化k个簇的质心的方式，因此聚类效果有可能陷入局部最优解的情况，局部最优解虽然效果不错，但不如全局最优解的聚类效果更好。如图所示：
图3 原始数据
图4 K-means聚类，k=3
可见聚类效果不佳，在算法结束后，应采取相应的后处理，使算法跳出局部最优解，达到全局最优解，获得最好的聚类效果。
2.3.2 误差平方和（SSE)
一种用于度量聚类效果的指标是SSE，即误差平方和， 为所有簇中的全部数据点到簇中心的误差距离的平方累加和。SSE的值如果越小，表示数据点越接近于它们的簇中心，即质心，聚类效果也越好。因为，对误差取平方后，就会更加重视那些远离中心的数据点。
2.3.3 降低SSE
改善聚类效果的做法就是降低SSE，在保持簇数目不变的情况下提高簇的质量。
一种方法是：我们可以将具有最大SSE值得簇划分为两个簇（因为，SSE最大的簇一般情况下，意味着簇内的数据点距离簇中心较远），具体地，可以将最大簇包含的点过滤出来并在这些点上运行K-means算法，其中k设为2.
同时，当把最大的簇分为两个簇之后，为了保证簇的数目是不变的，我们可以再合并两个簇。
一方面我们可以合并两个最近的质心所对应的簇，即计算所有质心之间的距离，合并质心距离最近的两个质心所对应的簇。
另一方面，我们可以合并两个使得SSE增幅最小的簇，显然，合并两个簇之后SSE的值会有所上升，那么为了最好的聚类效果，应该尽可能使总的SSE值小，所以就选择合并两个簇后SSE涨幅最小的簇。具体地，就是计算合并任意两个簇之后的总得SSE，选取合并后最小的SSE对应的两个簇进行合并。这样，就可以满足簇的数目不变。
对已经聚类完成的结果进行改善的方法，在不改变k值的情况下，上述方法能够起到一定的作用，会使得聚类效果得到一定的改善。那么，下面要讲到的是一种克服算法收敛于局部最小值问题的K-means算法。即二分k-均值算法。
三、二分K-means算法
3.1 二分K-means算法简介
二分K-means算法首先将所有点作为一个簇，然后将簇一分为二。之后选择其中一个簇继续进行划分，选择哪一个簇取决于对其进行划分是否能够最大程度的降低SSE的值。上述划分过程不断重复，直至划分的簇的数目达到用户指定的值为止。
3.2 二分K-means算法工作流程
二分K-means算法的伪代码如下：
将所有点看成一个簇
当簇数目小于k时
对于每一个簇
计算总误差
在给定的簇上面进行k-均值聚类（k=2）
计算将该簇一分为二之后的总误差
选择使得总误差最小的簇进行划分
使用二分K-means聚类效果如图所示。
图5 原K-means聚类
图6 二分K-means聚类
之前陷入局部最小值的的这些数据，经过二分K-means算法多次划分后，可以逐渐收敛到全局最小值，从而达到了令人满意的聚类效果。
当然，也可以选择SSE最大的簇进行划分，知道簇数目达到用户指定的数目为止。
四、示例
在此将之前使用支持向量机测试过的一个线性可分数据用来测试K-Kmeans，看下它们的效果。
图7 线性可分数据，支持向量机效果
图8 线性可分数据，K-Means聚类效果
也可以看出，两者的效果一样的很好。但是对于非线性可分数据的效果就不同了。
图9 非线性可分数据，支持向量机效果
图10 非线性可分数据，K-Means聚类效果
似乎K-Means只是单纯地将数据聚类起来，而没有根据数据的意义来聚类。
五、小结
（1）优点：算法简单易懂容易实现；
（2）缺点：复杂度高，容易受到离群点以及初始簇质心的影响，可能收敛到局部最小值，在大规模数据上收敛速度较慢。
六、参考文献
[1]周志华.机器学习[M].北京：清华大学出版社，2016.
[2]Peter Harrington.机器学习实战[M].北京：人民邮电出版社，2013.
[3]韩家炜等.数据挖掘概念与技术[M].北京：机械工业出版社，2012.
七、附录
《机器学习实战》的代码，其代码的资源网址为：
https://www.manning.com/books/machine-learning-in-action
其中，kMeans.py文件为：
"""
Created on Sun Jun 3 14:05:46 2018
@author: Diky
"""
"""
◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇
◇◇◆◆◆◆◆◆◆◇◇◇◇◇◇◇◆◆◆◆◆◆◇◇◇◇◆◆◇◇◇◇◆◆◆◇◇◇◆◆◆◇◇◇◇◇◇◇◆◆◆◇◇
◇◇◆◆◆◆◆◆◆◆◆◇◇◇◇◇◆◆◆◆◆◆◇◇◇◇◆◆◇◇◇◆◆◆◇◇◇◇◇◆◆◆◇◇◇◇◇◆◆◆◇◇◇
◇◇◆◆◇◇◇◇◇◆◆◇◇◇◇◇◇◇◆◆◇◇◇◇◇◇◆◆◇◇◆◆◆◇◇◇◇◇◇◇◆◆◆◇◇◇◆◆◆◇◇◇◇
◇◇◆◆◇◇◇◇◇◇◆◆◇◇◇◇◇◇◆◆◇◇◇◇◇◇◆◆◇◆◆◆◇◇◇◇◇◇◇◇◇◆◆◆◇◆◆◆◇◇◇◇◇
◇◇◆◆◇◇◇◇◇◇◆◆◇◇◇◇◇◇◆◆◇◇◇◇◇◇◆◆◆◆◆◇◇◇◇◇◇◇◇◇◇◇◆◆◆◆◆◇◇◇◇◇◇
◇◇◆◆◇◇◇◇◇◇◆◆◇◇◇◇◇◇◆◆◇◇◇◇◇◇◆◆◆◆◆◇◇◇◇◇◇◇◇◇◇◇◇◆◆◆◇◇◇◇◇◇◇
◇◇◆◆◇◇◇◇◇◇◆◆◇◇◇◇◇◇◆◆◇◇◇◇◇◇◆◆◆◆◆◆◇◇◇◇◇◇◇◇◇◇◇◆◆◆◇◇◇◇◇◇◇
◇◇◆◆◇◇◇◇◇◇◆◆◇◇◇◇◇◇◆◆◇◇◇◇◇◇◆◆◆◇◆◆◆◇◇◇◇◇◇◇◇◇◇◆◆◆◇◇◇◇◇◇◇
◇◇◆◆◇◇◇◇◇◆◆◆◇◇◇◇◇◇◆◆◇◇◇◇◇◇◆◆◇◇◇◆◆◆◇◇◇◇◇◇◇◇◇◆◆◆◇◇◇◇◇◇◇
◇◇◆◆◆◆◆◆◆◆◆◇◇◇◇◇◆◆◆◆◆◆◇◇◇◇◆◆◇◇◇◇◆◆◆◇◇◇◇◇◇◇◇◆◆◆◇◇◇◇◇◇◇
◇◇◆◆◆◆◆◆◆◇◇◇◇◇◇◇◆◆◆◆◆◆◇◇◇◇◆◆◇◇◇◇◇◆◆◆◇◇◇◇◇◇◇◆◆◆◇◇◇◇◇◇◇
◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇◇
"""
from numpy import *
def loadDataSet(fileName): #general function to parse tab -delimited floats
dataMat = [] #assume last column is target value
fr = open(fileName)
for line in fr.readlines():
curLine = line.strip().split('\t')
fltLine = list( map(float,curLine) )#map all elements to float()
dataMat.append(fltLine)
return dataMat
def distEclud(vecA, vecB):
return sqrt(sum(power(vecA - vecB, 2))) #la.norm(vecA-vecB)
def randCent(dataSet, k):
n = shape(dataSet)[1]
centroids = mat(zeros((k,n)))#create centroid mat
for j in range(n):#create random cluster centers, within bounds of each dimension
minJ = min(dataSet[:,j])
rangeJ = float(max(dataSet[:,j]) - minJ)
centroids[:,j] = mat(minJ + rangeJ * random.rand(k,1))
return centroids
def kMeans(dataSet, k, distMeas=distEclud, createCent=randCent):
m = shape(dataSet)[0]
clusterAssment = mat(zeros((m,2)))#create mat to assign data points
#to a centroid, also holds SE of each point
centroids = createCent(dataSet, k)
clusterChanged = True
while clusterChanged:
clusterChanged = False
for i in range(m):#for each data point assign it to the closest centroid
minDist = inf; minIndex = -1
for j in range(k):
distJI = distMeas(centroids[j,:],dataSet[i,:])
if distJI < minDist:
minDist = distJI; minIndex = j
if clusterAssment[i,0] != minIndex: clusterChanged = True
clusterAssment[i,:] = minIndex,minDist**2
print(centroids)
for cent in range(k):#recalculate centroids
ptsInClust = dataSet[nonzero(clusterAssment[:,0].A==cent)[0]]#get all the point in this cluster
centroids[cent,:] = mean(ptsInClust, axis=0) #assign centroid to mean
return centroids, clusterAssment
def biKmeans(dataSet, k, distMeas=distEclud):
m = shape(dataSet)[0]
clusterAssment = mat(zeros((m,2)))
centroid0 = mean(dataSet, axis=0).tolist()[0]
centList =[centroid0] #create a list with one centroid
for j in range(m):#calc initial Error
clusterAssment[j,1] = distMeas(mat(centroid0), dataSet[j,:])**2
while (len(centList) < k):
lowestSSE = inf
for i in range(len(centList)):
ptsInCurrCluster = dataSet[nonzero(clusterAssment[:,0].A==i)[0],:]#get the data points currently in cluster i
centroidMat, splitClustAss = kMeans(ptsInCurrCluster, 2, distMeas)
sseSplit = sum(splitClustAss[:,1])#compare the SSE to the currrent minimum
sseNotSplit = sum(clusterAssment[nonzero(clusterAssment[:,0].A!=i)[0],1])
print( "sseSplit, and notSplit: ",sseSplit,sseNotSplit)
if (sseSplit + sseNotSplit) < lowestSSE:
bestCentToSplit = i
bestNewCents = centroidMat
bestClustAss = splitClustAss.copy()
lowestSSE = sseSplit + sseNotSplit
bestClustAss[nonzero(bestClustAss[:,0].A == 1)[0],0] = len(centList) #change 1 to 3,4, or whatever
bestClustAss[nonzero(bestClustAss[:,0].A == 0)[0],0] = bestCentToSplit
print ('the bestCentToSplit is: ',bestCentToSplit)
print ('the len of bestClustAss is: ', len(bestClustAss))
centList[bestCentToSplit] = bestNewCents[0,:].tolist()[0]#replace a centroid with two best centroids
centList.append(bestNewCents[1,:].tolist()[0])
clusterAssment[nonzero(clusterAssment[:,0].A == bestCentToSplit)[0],:]= bestClustAss#reassign new clusters, and SSE
return mat(centList), clusterAssment
import urllib
import json
def geoGrab(stAddress, city):
apiStem = 'http://where.yahooapis.com/geocode?' #create a dict and constants for the goecoder
params = {}
params['flags'] = 'J'#JSON return type
params['appid'] = 'aaa0VN6k'
params['location'] = '%s %s' % (stAddress, city)
url_params = urllib.urlencode(params)
yahooApi = apiStem + url_params #print url_params
print (yahooApi)
c=urllib.urlopen(yahooApi)
return json.loads(c.read())
from time import sleep
def massPlaceFind(fileName):
fw = open('places.txt', 'w')
for line in open(fileName).readlines():
line = line.strip()
lineArr = line.split('\t')
retDict = geoGrab(lineArr[1], lineArr[2])
if retDict['ResultSet']['Error'] == 0:
lat = float(retDict['ResultSet']['Results'][0]['latitude'])
lng = float(retDict['ResultSet']['Results'][0]['longitude'])
print ("%s\t%f\t%f" % (lineArr[0], lat, lng))
fw.write('%s\t%f\t%f\n' % (line, lat, lng))
else: print( "error fetching")
sleep(1)
fw.close()
def distSLC(vecA, vecB):#Spherical Law of Cosines
a = sin(vecA[0,1]*pi/180) * sin(vecB[0,1]*pi/180)
b = cos(vecA[0,1]*pi/180) * cos(vecB[0,1]*pi/180) * \
cos(pi * (vecB[0,0]-vecA[0,0]) /180)
return arccos(a + b)*6371.0 #pi is imported with numpy
import matplotlib
import matplotlib.pyplot as plt
def clusterClubs(numClust=5):
datList = []
for line in open('places.txt').readlines():
lineArr = line.split('\t')
datList.append([float(lineArr[4]), float(lineArr[3])])
datMat = mat(datList)
myCentroids, clustAssing = biKmeans(datMat, numClust, distMeas=distSLC)
fig = plt.figure()
rect=[0.1,0.1,0.8,0.8]
scatterMarkers=['s', 'o', '^', '8', 'p', \
'd', 'v', 'h', '>', '<']
axprops = dict(xticks=[], yticks=[])
ax0=fig.add_axes(rect, label='ax0', **axprops)
imgP = plt.imread('Portland.png')
ax0.imshow(imgP)
ax1=fig.add_axes(rect, label='ax1', frameon=False)
for i in range(numClust):
ptsInCurrCluster = datMat[nonzero(clustAssing[:,0].A==i)[0],:]
markerStyle = scatterMarkers[i % len(scatterMarkers)]
ax1.scatter(ptsInCurrCluster[:,0].flatten().A[0], ptsInCurrCluster[:,1].flatten().A[0], marker=markerStyle, s=90)
ax1.scatter(myCentroids[:,0].flatten().A[0], myCentroids[:,1].flatten().A[0], marker='+', s=300)
plt.show()
def showCluster(dataSet, k, centroids, clusterAssment):
numSamples, dim = dataSet.shape
if dim != 2:
print ("Sorry! I can not draw because the dimension of your data is not 2!")
return 1
mark = ['or', 'ob', 'og', 'ok', '^r', '+r', 'sr', 'dr', '<r', 'pr']
if k > len(mark):
print ("Sorry! Your k is too large! ")
return 1
# draw all samples
for i in range(numSamples):
markIndex = int(clusterAssment[i, 0]) #为样本指定颜色
plt.plot(dataSet[i, 0], dataSet[i, 1], mark[markIndex])
mark = ['Dr', 'Db', 'Dg', 'Dk', '^b', '+b', 'sb', 'db', '<b', 'pb']
# draw the centroids
for i in range(k):
plt.plot(centroids[i, 0], centroids[i, 1], mark[i], markersize = 12)
plt.show()
测试文件main.py为：
# -*- coding: utf-8 -*-
"""
Created on Sun Jun 3 14:05:46 2018
@author: Diky
"""
from kMeans import *
from numpy import *
datMat=mat(loadDataSet('testSet2.txt'))
k=3
myCentroids,clustAssing= kMeans(datMat,k)
#myCentroids,clustAssing= biKmeans(datMat,k)
print( myCentroids,clustAssing )
showCluster(datMat, k, myCentroids,clustAssing)
#clusterClubs(7)