机器学习-生成学习与EM算法

高斯判别分析

分类问题

输入特征$x$的连续变量,对$P(x|y)$用多远正态分布建模,y服从伯努利分布

$$y\sim Bermouli(\varphi )$$

$$
x|y=0 \sim N(\mu_0,\epsilon)

$$

$$
x|y=1 \sim N(\mu_1,\epsilon)

$$

$$l(\varphi ,{\mu }_0,{\mu }_1,ϵ)=ln\prod _{i=1}^{m}P(x^{(i)}|y^{(i)})P(y^{(i)};\varphi )$$

GDA 与 LR 相比,假设更强.当满足假设时效果更好,LR的鲁棒性更好

朴素贝叶斯

给定$(x^{(i)},y^{(i)})$ $x^{(i)}=(x_1,...,x_n)$分别表示词汇是否在文本中出现.

对条件概率分布做条件独立性的假设,也即

$$P(x_1,...,x_{5}000|y)=\prod (P(x_i|y))$$

$${\varphi }_{i|y=1}=P(x_i=1|y=1)$$

$${\varphi }_{i|y=0}=P(x_i=1|y=0)$$

$${\varphi }_y=P(y=1)$$

最终最大似然求解,拉普拉斯平滑;(多项式模型)

混合高斯模型 GMM

训练集为 $(x^{(1)},...,x^{(m)})$,加入隐变量$z$, $z$服从多项式分布 $P(z^{(i)}=j)={\varphi }_j$
则$x^{(i)}|z^{(i)}=j\sim N({\mu }_j,\Sigma )$

若$z$是已知的,则变为高斯判别分析,但是此处$z$是未知的

EM算法

训练集 $(x^{(1)},...,x^{(m)})$

$$l(\theta )=\sum _{(i=1)}^{m}logP(x;\theta )=\sum _{(i=1)}^{m}log\sum _{z}P(x,z;\theta )$$

E-step:

$$Q_i(z^i)=P(z^{(i)}|x^{(i)};\theta )$$
M-step:

$$\theta :=argmax\sum _i\sum _{z^{(i)}}{Q}_i(z^i)log\frac{P(z^{(i)}|x^{(i)};\theta )}{Q_i(z^{(i)})}$$