统计学习方法读书笔记（九）-EM算法及其推广

全部笔记的汇总贴：统计学习方法读书笔记汇总贴

PDF免费下载：《统计学习方法（第二版）》

EM算法用于含有隐变量（hidden variable）的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步组成：E步，求期望（expectation) ; M步，求极大（maximization）。

一、EM算法的引入

三硬币模型

假设有三枚硬币，分别记为A、B、C。这些硬币正面的概率分别为$\pi ,p,q$，进行如下的抛硬币实验：先掷硬币A，根据其结果选出硬币B或者硬币C，正面选硬币B，反面选硬币C，然后掷选出的硬币，掷硬币的记录，出现正面记作1，出现反面记作0，独立地重复n次实验（这里n=10），然后观测结果如下：

1，1，0，1，0，0，1，0，1，1

假设只能观测到掷硬币的结果，不能观测掷硬币的过程，问如何估计三硬币正面出现的概率，即三硬币模型的参数$\pi ,p,q$。

所以我们要求的是：$$\hat{\theta }=\underset{\theta }{\mathrm{argmax}}\log P(Y|\theta )$$
E步：求根据$y_j$来置硬币B的概率$${\mu }_j^{(i+1)}=\frac{{\pi }^{(i)}(p^{(i)}{)}^{y_j}(1-p^{(i)}{)}^{1-y_j}}{{\pi }^{(i)}(p^{(i)}{)}^{y_j}(1-p^{(i)}{)}^{1-y_j}+(1-{\pi }^{(i)})(q^{(i)}{)}^{y_j}(1-q^{(i)}{)}^{1-y_j}}$$
M步：计算模型参数的新的估计值$$\begin{gathered} {\pi }^{(i+1)}=\frac{1}{n}\sum _{j=1}^n{\mu }_j^{(i+1)} \\ {p}^{(i+1)}=\frac{{\sum }_{j=1}^n{\mu }_j^{(i+1)}{y}_j}{{\sum }_{j=1}^n{\mu }_j^{(i+1)}} \\ {q}^{(i+1)}=\frac{{\sum }_{j=1}^n(1-{\mu }_j^{(i+1)})y_i}{{\sum }_{j=1}^n(1-{\mu }_j^{(i+1)})} \end{gathered}$$

以上是得到的结论，接下来我们进行推导

$y_j$为第$j$次实验的观测数据
$Z$为隐变量，表示掷硬币A出现的结果，该变量只有两个取值（0/1）
$z_j$为第$j$次实验时，掷硬币A出现的结果，其中$z_j=1$表示正面
$\theta$为参数集合$\pi ,p,q$
${\theta }^{(i)}$为第$i$次迭代时，$\pi ,p,q$的估计值

E-Step:
完全数据的对数似然函数为：$$\begin{gathered} log(P(Y,Z|\theta ))=\log (\prod _{j=1}^{n}p(y_j,z_j|\theta )) \\ =\sum _{j=1}^n\log (p(y_j,z_j|\theta )) \end{gathered}$$
期望为：$$\begin{gathered} E_{Z|Y,{\theta }^{(i)}}[\log (P(Y,Z|\theta ))]=\sum _{j=1}^n\sum _{z_j}[p(z_j|y_j,{\theta }^{(i)})\log (p(y_j,z_j|\theta ))] \\ =\sum _{j=1}^n\sum _{z_j}[p(z_j|y_j,{\theta }^{(i)})\log (p(y_j,z_j|\theta ))] \\ =\sum _{j=1}^n[p(z_j=1|y_j,{\theta }^{(i)})\log (p(y_j,z_j=1|\theta ))]+[p(z_j=0|y_j,{\theta }^{(i)})\log (p(y_j,z_j=0|\theta ))] \end{gathered}$$
对于后验概率$p(z_j|y_j,{\theta }^{(i)})$，可以写成${\mu }_j^{(i+1)}=\frac{P(y_j,z_j=1|{\theta }^{(i)})}{P(y_j|{\theta }^{(i)})}$，这样思考，给定条件${\theta }^{(i)}$，$z_j=1$的概率为${\pi }^{(i)}$，留意${\theta }^{(i)}$已发生，那么$P(z_j=1|\theta )$就等于${\pi }^{(i)}$。也就是说，此时的${\theta }^{(i)}$对于我们计算后验概率的时候可以不加以考虑。所以，$$\begin{gathered} p(z_j=1|y_j;{\theta }^{(i)})=\frac{p(y_j,z_j=1)}{p(y_j)} \\ =\frac{p(y_j|z_j=1)p(z_j=1)}{{\sum }_{z_j}p(y_j,z_j)} \\ =\frac{p(y_j|z_j=1)p(z_j=1)}{p(y_j,z_j=1)+p(y_j,z_j=0)} \\ =\frac{(p^{(i)}{)}^{y_j}(1-p^{(i)}{)}^{1-y_j}\cdot {\pi }^{(i)}}{(p^{(i)}{)}^{y_j}(1-p^{(i)}{)}^{1-y_j}\cdot {\pi }^{(i)}+(q^{(i)}{)}^{y_j}(1-q^{(i)}{)}^{1-y_j}\cdot (1-{\pi }^{(i)})} \\ ={\mu }_j^{(i+1)} \end{gathered}$$$$p(z_j=0|y_j;{\theta }^{(i)})=1-{\mu }_j^{(i+1)}$$
对于联合概率，$$p(y_j,z_j=1|\theta )=p(y_j|z_j=1,\theta )p(z_j=1|\theta )=\pi p^{y_j}(1-p{)}^{1-y_j}$$$$p(y_j,z_j=0|\theta )=p(y_j|z_j=0,\theta )p(z_j=0|\theta )=(1-\pi )q^{y_j}(1-q{)}^{1-y_j}$$
所以，$$\begin{gathered} Q(\theta ,{\theta }^{(i)})=E_{Z|Y,{\theta }^{(i)}}[\log (P(Y,Z|\theta ))] \\ =\sum _{j=1}^n[p(z_j=1|y_j,{\theta }^{(i)})\log (p(y_j,z_j=1|\theta ))+p(z_j=0|y_j,{\theta }^{(i)})\log (p(y_j,z_j=1|\theta ))] \\ =\sum _{j=1}^n[{\mu }_j^{(i+1)}\cdot \log (\pi p^{y_j}(1-p{)}^{1-y_j})+(1-{\mu }_j^{(i+1)})\cdot \log ((1-\pi )q^{y_j}(1-q{)}^{1-y_j})] \end{gathered}$$

M-Step
注意：在求偏导时，把${\mu }_j^{(i+1)}$看作一个常数。
方法：分别对$\pi ,p,q$求偏导并令其等于0，求出参数的估计。

• 对$\pi$求偏导并令其等于0
  $$\begin{gathered} \frac{\partial f}{\partial \pi }=\sum _{j=1}^n[{\mu }_j^{(i+1)}\cdot \frac{1}{\pi }-(1-{\mu }_j^{(i+1)})\cdot \frac{1}{1-\pi }] \\ =\sum _{j=1}^n\frac{\pi -{\mu }_j^{(i+1)}}{\pi (1-\pi )} \\ =\frac{n\pi -{\sum }_{j=1}^n{\mu }_j^{(i+1)}}{\pi (1-\pi )}=0 \end{gathered}$$
  所以$\pi$的估计为$$\pi =\frac{1}{n}\sum _{j=1}^n{\mu }_j^{(i+1)}$$
• 对$p$求偏导并令其等于0$$\begin{gathered} \frac{\partial f}{\partial p}=\sum _{j=1}^n{\mu }_j^{(i+1)}\frac{\pi \{y_j{p}^{y_j-1}(1-p{)}^{1-y_j}+p^{y_j}[-(1-y_j)(1-p{)}^{-y_j}]\}}{\pi p^{y_j}(1-p{)}^{1-y_j}} \\ =\sum _{j=1}^n{\mu }_j^{(i+1)}\cdot \frac{y_j{p}^{y_j-1}(1-p{)}^{-y_j}\cdot (1-p)+p^{y_j-1}\cdot p[(y_j-1)(1-p)-y_j]}{p^{y_j}(1-p{)}^{1-y_j}} \\ =\sum _{j=1}^n{\mu }_j^{(i+1)}\cdot \frac{y_j(1-p)+p(y_j-1)}{p(1-p)} \\ =\sum _{j=1}^n{\mu }_j^{(i+1)}\cdot \frac{y_j(1-p)+p(y_j-1)}{p(1-p)} \\ =\sum _{j=1}^n{\mu }_j^{(i+1)}\frac{y_j-p}{p(1-p)}=0 \end{gathered}$$
  所以$p$的估计为$$p=\frac{{\sum }_{j=1}^n{\mu }_j^{(i+1)}{y}_j}{{\sum }_{j=1}^n{\mu }_j^{(i+1)}}$$
• 对$q$求偏导并令其等于0$$\begin{gathered} \frac{\partial f}{\partial q}=\sum _{j=1}^n(1-{\mu }_j^{(i+1)})\frac{(1-\pi )\{y_j{q}^{y_j-1}(1-q{)}^{1-y_j}+q^{y_j}[-(1-y_j)(1-q{)}^{-y_j}]\}}{(1-\pi )q^{y_j}(1-q{)}^{1-y_j}} \\ =\sum _{j=1}^n(1-{\mu }_j^{(i+1)})\frac{y_j{q}^{y_j-1}(1-q{)}^{-y_j}(1-q)+q^{y_j-1}q[(y_j-1)(1-q{)}^{-y_j}]}{q^{y_j}(1-q{)}^{1-y_j}} \\ =\sum _{j=1}^n(1-{\mu }_j^{(i+1)})\frac{y_j(1-q)+q(y_j-1)}{q(1-q)} \\ =\sum _{j=1}^n(1-{\mu }_j^{(i+1)})\frac{y_j-q}{q(1-q)}=0 \end{gathered}$$
  所以$q$的估计为$$q=\frac{{\sum }_{j=1}^n(1-{\mu }_j^{(i+1)})y_i}{{\sum }_{j=1}^n(1-{\mu }_j^{(i+1)})}$$

二、EM算法的收敛性

还是以上面的三硬币模型为例，

由书上的9.1.2的推导可以得到$L(\theta )\ge B(\theta ,{\theta }^{(i)})$

收敛性证明：$$L({\theta }^{(i+1)})\ge B({\theta }^{(i+1)},{\theta }^{(i)})\ge B({\theta }^{(i)},{\theta }^{(i)})=L({\theta }^{(i)})\ge \cdots \ge L(\theta )$$
$$又L(\theta )上界为log1=0，L(\theta )单调上升，所以收敛$$

三、EM算法在高斯混合模型学习中的应用

可以看看这篇文章：白板推导系列笔记（十一）-高斯混合模型，有非常详细的推导。

四、EM算法的推广

（一）$F$函数的极大-极大算法

$F$函数写成$$F(\hat{P}(Z),\theta )=E_{\hat{P}(Z)}[\log P(Y,Z\mid \theta )]-E_{\hat{P}(Z)}[\log \hat{P}(Z)]$$

• 固定$\theta$求第一个极大，向右寻找最佳的隐变量（隐变量分布）使得当前的$F_{\theta }(\hat{P}(Z))$函数取得极大，而这个极大正好取在$P(Z|Y,\theta )$这个点上
• 固定$\hat{P}(Z)$求第二个极大

（二）GEM算法

基于$F$函数的。

下一章传送门：统计学习方法读书笔记（十）-隐马尔可夫模型