概率图模型
概率图模型（Probabilistic Graphic Model），能够很好地挖掘潜在的内容。
概率图中的节点分为隐含节点和观测节点，边分为有向边和无向边。从概率论的角度，节点对应于随机变量，边对应于随机变量的依赖或相关关系，其中有向边表示单向的依赖，无向边表示互相依赖。
概率图模型分为贝叶斯网络（Bayesian Network）和马尔可夫网络（Markov Network）两大类。贝叶斯用有向图结构表示，马尔可夫网络用无向图的网络结构表示。
概率图模型包含朴素贝叶斯模型、最大熵模型、隐马尔可夫模型、条件随机场、主题模型等等。
贝叶斯联合概率分布
左边为贝叶斯网络，右边为马尔可夫网络
贝叶斯网路和马尔可夫网络
由图可见，在给定A的条件下，B和C是条件独立的，基于条件条件概率的定义可得
同理，在给定B和C的条件下，A和D是条件独立的，可得
扫描二维码关注公众号，回复：
12135345 查看本文章
上面两个式子可联合概率
马尔可夫联合概率分布
在马尔可夫网络中，联合概率分布的定义如下：
其中C为图中最大团所构成的集合，
为归一化因子，用来保证P(x)是被正确定义的概率，是与团Q对应的势函数，势函数非负，并且应该在概率较大的变量上取得较大的值，例如指数函数
其中
对于图中所有节点所构成的一个子集，如果这个子集中，任意两点之间都存在边相连，则这个自己的所有节点构成一个团。如果在这个子集中加入其他任意节点，都不能构成团，我们称这样的子集构成一个最大团。左边为贝叶斯网络，右边为马尔可夫网络
贝叶斯网路和马尔可夫网络
显然这里只有(A,B)、(A,C)、(B,D)、(C,D)构成团，且是最大团。联合概率密度可以表示为
如果使用上面的指数函数作为势函数，则有
得
