EM+GMM算法的学习
1 意义
- EM算法为存在隐变量的模型提供了一种学习策略
- EM可分为:
2 推导
- 如果存在样本
x1,x2,x3,...,xn
- 其中
xi
的隐变量为类别
zi
-
zi
服从某一分布
Qi(zi),∑ziQi(zi)=1
- 模型以
p(xi,θ)
代表样本出现的概率,则似然函数为:
-
l(θ)=∑i=1nlogp(xi,θ)
-
θ
为模型参数
- 当隐变量不存时,可以利用梯度上升算法直接对模型参数进行学习,当隐变量存在时,就不能利用这种方法了
l(θ)=∑i=1nlog∑ziQi(zi)∗p(xi,zi;θ)Qi(zi)
≥∑i=1n∑ziQi(zi)logp(xi,zi;θ)Qi(zi)
p(xi,zi;θ)Qi(zi)=c
时不等式等号成立
![这里写图片描述](https://img-blog.csdn.net/2018070309244331?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MjgyNTYw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
3 利用EM求解GMM参数
![这里写图片描述](https://img-blog.csdn.net/201807030926338?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MjgyNTYw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
- 然后分别对不同参数进行求导,等于零构建方程,从而计算新一轮的参数
μ
的求解:
![这里写图片描述](https://img-blog.csdn.net/2018070309305930?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MjgyNTYw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
ϕ
的求解:
![这里写图片描述](https://img-blog.csdn.net/20180703093254308?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MjgyNTYw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
-
ϑ2
的求解:
![这里写图片描述](https://img-blog.csdn.net/20180703093401987?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MjgyNTYw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
4 EM的收敛性
![这里写图片描述](https://img-blog.csdn.net/20180703093523124?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1MjgyNTYw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)