【关键词】K个种子,均值
一、原理
聚类的概念:一种无监督的学习,事先不知道类别,自动将相似的对象归到同一个簇中。
K-Means算法是一种聚类分析(cluster analysis)的算法,其主要是来计算数据聚集的算法,主要通过不断地取离种子点最近均值的算法。K-Means算法主要解决的问题如下图所示。我们可以看到,在图的左边有一些点,我们用肉眼可以看出来有四个点群,但是我们怎么通过计算机程序找出这几个点群来呢?于是就出现了我们的K-Means算法
这个算法其实很简单,如下图所示:
从上图中,我们可以看到,A,B,C,D,E是五个在图中点。而灰色的点是我们的种子点,也就是我们用来找点群的点。有两个种子点,所以K=2。
然后,K-Means的算法如下:
随机在图中取K(这里K=2)个种子点。
然后对图中的所有点求到这K个种子点的距离,假如点Pi离种子点Si最近,那么Pi属于Si点群。(上图中,我们可以看到A,B属于上面的种子点,C,D,E属于下面中部的种子点)
接下来,我们要移动种子点到属于他的“点群”的中心。(见图上的第三步)
然后重复第2)和第3)步,直到,种子点没有移动(我们可以看到图中的第四步上面的种子点聚合了A,B,C,下面的种子点聚合了D,E)。
这个算法很简单,重点说一下“求点群中心的算法”:欧氏距离(Euclidean Distance):差的平方和的平方根
二、缺陷
K-Means主要最重大的缺陷——都和初始值有关:
K是事先给定的,这个K值的选定是非常难以估计的。很多时候,事先并不知道给定的数据集应该分成多少个类别才最合适。(ISODATA算法通过类的自动合并和分裂,得到较为合理的类型数目K)
K-Means算法需要用初始随机种子点来搞,这个随机种子点太重要,不同的随机种子点会有得到完全不同的结果。(K-Means++算法可以用来解决这个问题,其可以有效地选择初始点)
三、步骤
K-Means算法步骤:
(1) 从数据中选择k个对象作为初始聚类中心;
(2)计算每个聚类对象到聚类中心的距离来划分;
(3)再次计算每个聚类中心
(4) 计算标准测度函数,直到达到最大迭代次数,则停止,否则,继续操作。
(5)确定最优的聚类中心
四、K-Means算法应用
看到这里,你会说,K-Means算法看来很简单,而且好像就是在玩坐标点,没什么真实用处。而且,这个算法缺陷很多,还不如人工呢。是的,前面的例子只是玩二维坐标点,的确没什么意思。但是你想一下下面的几个问题:
1)如果不是二维的,是多维的,如5维的,那么,就只能用计算机来计算了。
2)二维坐标点的X,Y
坐标,其实是一种向量,是一种数学抽象。现实世界中很多属性是可以抽象成向量的,比如,我们的年龄,我们的喜好,我们的商品,等等,能抽象成向量的目的就是可以让计算机知道某两个属性间的距离。如:我们认为,18岁的人离24岁的人的距离要比离12岁的距离要近,鞋子这个商品离衣服这个商品的距离要比电脑要近,等等。
五、实战
重要参数:
n_clusters:聚类的个数
重要属性:
cluster_centers_ : [n_clusters, n_features]的数组,表示聚类中心点的坐标
labels_ : 每个样本点的标签
1、图片压缩
from sklearn.cluster import KMeans
import numpy as np
from pandas import DataFrame,Series
import matplotlib.pyplot as plt
%matplotlib inline
bird = plt.imread("../data/bird_small.png")
bird.shape
plt.imshow(bird)
bird_data = bird.reshape((-1,3))
bird_data.shape
#可不可以看一下有多少个像素点是相同的
df = DataFrame(bird_data)
16384 - df.duplicated().sum()
#13930个像素点不相同
#就是选取的k(种子点)
kmeans = KMeans(n_clusters=8)
#无监督学习进行训练
kmeans.fit(bird_data)
#开始进行预测
y_ = kmeans.predict(bird_data)
y_
bird_data
Series(y_).unique()
#0- 63 64个聚类中心点
#聚类中心点这个数据
colors = kmeans.cluster_centers_
colors.shape
y_.shape
y_
bird_new = colors[y_].reshape((128,128,3))
bird_new.shape
plt.imshow(bird)
plt.imshow(bird_new)
plt.imsave('./bird_new.png', bird_new)