机器学习day15高斯混合模型

K均值缺点

  • 需要人工预先设置K值,而且该值与真实的数据分布未必吻合

  • K值只能收敛到局部最优,效果受到初始值影响较大

  • 容易受到噪声影响

  • 样本点被划分到单一的类里面

高斯混合模型

高斯混合模型(Gaussian Mixed Model,GMM)也是常见的聚类算法。使用EM算法进行迭代计算。高斯混合模型假设了每个簇的数据符合正态分布(高斯分布),当前的数据分布就是各个簇的高斯分布叠加在一起。

当数据明显无法使用一个正态分布拟合的时候,这时候我们就需要推广到多个正态分布的叠加,然后进行数据的拟合,这就是所谓的高斯混合模型,即采用多个正态分布函数的线性组合进行数据分布拟合,理论上,高斯混合模型可以拟合出任意类型的分布。

高斯混合模型假设

我们假设同一类的数据符合正态分布,不同簇的数据符合各自不同的正态分布。
我们需要计算每个正态分布的参数,均值image.png和方差image.png。我们还为每个正态分布添加一个参数\代表权重,或者说生成数据的概率。image.png
高斯混合模型是生成式的模型,例如,一种最简单的情况。存在两个一维正态分布的分模型为N(0,1)和N(5,1),权重分别为0.7和0.3。那么生成第一个数据点的时候,先按照权重的比例,随机选择一个分布,然后根据分模线参数进行随机生成,之后第二...,直到生成所有的数据点。

一般情况下,我们无法直接得到高斯混合模型的参数,而是观察一些数据点,给定一个大概的类别数量K,然后求出最佳的K个正态分布模型。因此,我们需要计算的是最佳的均值image.png,方差image.png和权重image.png

如果使用最大似然求解,必将极其复杂,因此我们使用EM算法。


猜你喜欢

转载自blog.51cto.com/15069488/2578582
今日推荐