九 EM+GMM算法的学习

EM+GMM算法的学习

1 意义

• EM算法为存在隐变量的模型提供了一种学习策略
• EM可分为：
  
  • E步：确定模型似然函数的下界
  • M步：优化下界

2 推导

• 如果存在样本 $x_1,x_2,x_3,...,x_n$
• 其中$x_i$的隐变量为类别$z_i$
• $z_i$服从某一分布$Q_i(z_i), \displaystyle\sum_{z_i} Q_i(z_i)=1$
• 模型以$p(x_i,\theta)$代表样本出现的概率，则似然函数为：
  
  • $l(\theta)=\displaystyle\sum_{i=1}^{n} log p(x_i,\theta)$
  • $\theta$为模型参数
  • 当隐变量不存时，可以利用梯度上升算法直接对模型参数进行学习，当隐变量存在时，就不能利用这种方法了

$l(\theta)=\displaystyle\sum_{i=1}^{n} log\displaystyle\sum_{z_i} Q_i(z_i)*\frac{p(x_i,z_i;\theta)}{Q_i(z_i)}$
$\quad\quad \geq \displaystyle\sum_{i=1}^{n}\displaystyle\sum_{z_i} Q_i(z_i) log\frac{p(x_i,z_i;\theta)}{Q_i(z_i)}$

$\frac{p(x_i,z_i;\theta)}{Q_i(z_i)}=c$时不等式等号成立

3 利用EM求解GMM参数

• 然后分别对不同参数进行求导，等于零构建方程，从而计算新一轮的参数

• $\mu$的求解：
  

• $\phi$的求解：
  

• $\vartheta^2$的求解：
  

4 EM的收敛性