本文内容主要总结自coursera课程Bayesian Methods for Machine Learning
本文内容延续自《贝叶斯网络（2）- EM协同计算》
https://blog.csdn.net/qq_36080693/article/details/80211334
一、问题
在最初的计算中，我们默认先验分布和后验分布同分布（共轭分布）。但在实际中，后验分布并不一定符合某一个分布。
例如，likelihood是一个神经网络，和先验的计算结果就不是一个标准的共轭分布
这时候，我们就要找到一个分布可以无限逼近后验分布
二、Mean field计算方法
1、我们假设后验分布是多个q（z）的乘积结果
2、而这边的q（z）属于一个特定的分布范围
3、我们的目标是确保每一个组成后验分布的q（z）与最终的后验分布p（z）近似
这里我们通过KL算法分别计算近似程度
4、最终，通过公式推导，我们得到了3的最终计算版本
log（某一个q分布）=除此q分布外其他分布的整体期望值*p分布+固定值
5、基于variational inference，调整的EM算法主要改变了E部分的逻辑。每一个虚拟变量分布q（t）不再是p的共轭分布，而是体现p分布某一部分的特征的单独分布。
三、Kl算法特征
KL算法会强制：P（蓝线）趋向0的时候，q（黄区）也要趋向0
所以，可以保证q分布体现了p分布的某一部分特征