Markov random fields
贝叶斯网络是一类模型可以简洁的表示感兴趣的概率分布。但是我们在Bayesian Networks中发现有些概率分布是不能由其表示的。
在这种情况下，除非我们想去引入假性独立变量，我们回退一个较少的简洁的表示。但是会导致一个额外的不必要的参数在模型中，同时也让模型更加不容易学习和预测。
然而，存在另一种简洁的表示分布概率的方式，它是基于语言的无向图。Markov random fields(MRFs)能有效的表示有向图无法表示的分布。接下来我们将探索MRFs的优缺点。
ＭRFs
假设我们对人ＡBCD的喜好投票，记（Ａ,B）,(B,C),(C,D),(D,A)是朋友并且朋友之间有相似的投票偏好。很自然这个这些影响可以用无向图表示。
一种方式定义ＡＢＣＤ投票的联合分布，可以定义以下形式：
其中$ \phi$ (X,Y)是一个因子表示的朋友间应该付多少的投票：
这些因子在没有归一化的分布被称之为因式分解。最后的概率等于：
Z是用来归一化的常量，
归一化后，我们可以视$\phi(A,B)$作为推动Ｂ的投票接近Ａ的交。同理，$\phi(B,C)$作为推动Ｂ的投票接近Ｃ的交,最可能的投票将缓解他们之间的投票冲突。
形式化定义（Formal definition）
一个Markov Random Field(MRF)是通过无向图来定义一个多个变量（$x_{1},......,x_{n}$）概率分布p.概率分布ｐ的形式为：
其中,Ｃ记为Ｇ的团的集合（cliques,团满足顶点集c任何两个顶点都存在连接），Ｚ的值：是归一化作用
因此，对于给出的图Ｇ,我们的概率分布包含各种因子，可能是单个节点，或边，或三角等。我们不需要给每个团都提供因式分解。在上述的例子中，我们定义每个边为一个团。
与贝叶斯网络比较
上述明显可以得到上图，
总之，ＭRFs超过有向图模型有以下优点：
- 他们应用到一个更宽的问题，这些是没有方向依赖的变量
- 无向图可以很清晰的表示贝叶斯网络不能表示的依赖
但是也会引入少数的缺点：
- 归一化常量Ｚ要求相加指数级别的数。因此，无向图模型是更棘手的，所以需要更多的近似技术。
- 无向图或许很难转移，像贝叶斯网络很容易产生数据，而且在某些应用中很重要。
不难发现贝叶斯网络是ＭRFs的一个特例，用的一个特殊的团分解(条件概率，暗示这图是无环的)并且归一化常数为１。如果我们去除他们的方向，并且给所有的父节点增加边，然后这个CPDs就因式分解成无向的图。这个称之为moralization.
因此ＭRFs更有力量比贝叶斯网络，但是更难计算。一般贝叶斯网络度可以用，但是ＭRFs仅仅是用在有向图的非自然场景中。
在ＭRFs中的独立性（Independencies in Ｍarkov Random Fields）
如果两个变量之间的未观测变量存在路径，则ｘｙ变量是依赖的。然而，如果ｘ的邻居所有都是被观测的，那么ｘ独立于其他的变量，因为他们仅仅影响ｘ通过他的邻居。如下图：
特殊情况下，我们将观测变量设为图的切集，将图切成两半，然后这两半是相互的独立的。
形式化上，我们定义一个变量Ｘ的Ｍarkov blanket U，如果观测Ｕ我们发现ｘ独立于剩下的变量。
Conditional Random Fields
MRFs非常重要的应用就是条件概率分布p(y|x).在这种下，我们记x $\in X$,y$\in Y$是向量式的变量。给出ｘ,发现ｙ的兴趣。有结构的预测问题。
例子
从字符图像序列中识别出字符。$ｘ_{i}$是矩阵，$y_{i}\in{‘a’,’b’,….,’z’}
我们理论上可以训练一个分类器用于从$x_{i}$预测$y_{i}$.然而字母来自整个单词，预测将会应该会从不同的ｉ中得到信息。在上图中，第二个输入要不是Ｖ或者Ｕ;然而通过邻居Ｑ和E来告诉那个具有较高的置信度。
