概率论与数理统计——全概率公式与贝叶斯公式

在概率论与数理统计中，有两个相当重要的公式——全概率公式与贝叶斯公式。然而很多人对这两个公式感到非常迷茫。一来不知道公式背后的意义所在，二来不知道这些冰冷的公式能有什么现实应用。

1. 全概率公式

在讲全概率公式之前，首先要理解什么是“完备事件群”。
我们将满足

B i B j = \emptyset (i \neq j) B 1 + B 2 + \dots = Ω

这样的一组事件称为一个“完备事件群”。简而言之，就是事件之间两两互斥，所有事件的并集是整个样本空间（必然事件）。

假设我们要研究事件A。我们希望能够求出P(A)，但是经过一番探索，却发现P(A)本身很难直接求出，不过却能够比较容易地求出各个P(Bi)，以及相应的条件概率P(A|Bi)。
能不能根据这些信息，间接地求出P(A)呢？
这当然是可以的。

我们不要忘记，Bi是两两互斥的。

A = A Ω = A B 1 + A B 2 + A B 3 + \dots

显然，AB1，AB2，AB3，⋯也是两两互斥的。1
一说到两两互斥，我们就想到了概率的加法定理：2

P (A) = P (A Ω) = P (A B 1 + A B 2 + A B 3 + \dots) = P (A B 1) + P (A B 2) + P (A B 3) + \dots

再根据条件概率的定义，我们得到了教科书上的全概率公式：

P (A) = P (B 1) P (A | B 1) + P (B 2) P (A | B 2) + P (B 3) P (A | B 3) + \dots

这样费了一番周折，我们总算得到了所求的P(A)。可以发现，虽然P(A)本身不好求，但我们可以根据它散落的“碎片”间接地将其求出。但不是所有情况都是能这样求出的——我们必须保证B1，B2，B3，⋯是一个完备事件群。这个其实也很好理解，假如你想将一个碎掉的花瓶重新还原，碎片如果不全，或者碎片之间出现了多余的“重叠”，还原工作都将以失败告终。

全概率公式可以从另一个角度去理解，把Bi看作是事件A发生的一种“可能途径”，若采用了不同的途径，A发生的概率，也就是相应的条件概率P(A|Bi)也会不同。但是，我们事先却并不知道将会走哪条途径，换言之，途径的选择是随机的3，这样就导致了不同途径被选中的可能性也许也会存在差异，这就是P(Bi)所表达的含义。这样一来，我们最终所要求的P(A)，实际上就是一个不同路径概率的加权平均。
下面我们来举一个例子。
某地盗窃风气盛行，且偷窃者屡教不改。我们根据过往的案件记录，推断A今晚作案的概率是0.8，B今晚作案的概率是0.1，C今晚作案的概率是0.5。作案者只可能是A、B、C中的一人，且这三人关系不好，不会联手作案4。除此之外，还推断出A的得手率是0.1，B的得手率是1.0，C的得手率是0.5。那么，今晚村里有东西被偷的概率是多少？
通过阅读上述文字，我们大概对A、B、C三人有了一个初步的印象。首先，A的脑子可能有些问题，特别喜欢偷，但是技术相当烂。B看来是个江湖高手，一般不出手，一出手就绝不失手。C大概是追求中庸，各方面都很普通。
我们将文字描述转换为数学语言，根据作案频率可知

P (A) = 0.8, P (B) = 0.1, P (C) = 0.5

将“村里有东西被偷”记为S，根据得手率可以得到

P (S | A) = 0.1, P (S | B) = 1.0, P (S | C) = 0.5

很简单，所求得的就是

P (S) = P (A) P (S | A) + P (B) P (S | B) + P (C) P (S | C) = 0.43

祝这个村晚上好运吧。

2. 贝叶斯公式

有了前面的基础，我们现在先直接抛出贝叶斯公式：

P (B i | A) = P ( A B i ) P ( A ) = P ( B i ) P ( A | B i ) \sum j P ( B j ) P ( A | B j )

这个公式本身平平无奇，无非就是条件概率的定义加上全概率公式一起作出的一个推导而已。但它所表达的意义却非常深刻。
在全概率公式中，如果将A看成是“结果”，Bi看成是导致结果发生的诸多“原因”之一，那么全概率公式就是一个“原因推结果”的过程。但贝叶斯公式却恰恰相反。贝叶斯公式中，我们是知道结果A已经发生了，所要做的是反过来研究造成结果发生的原因，是XX原因造成的可能性有多大，即“结果推原因”。

举个例子：
假设某种病菌在人口中的带菌率为0.03，由于技术落后等等原因，使得带菌者有时也未被检出阳性反应（假阴性），不带菌者也可能会被检出阳性反应（假阳性）。有如下数据：

P (阳 性 | 带 菌) = 0.99, P (阴 性 | 带 菌) = 0.01, P (阳 性 | 不 带 菌) = 0.05, P (阴 性 | 不 带 菌) = 0.95

假如一个人被检出阳性，那么这个人带菌的概率是多少？

如果不用概率的思维，光凭感觉去想这个问题……误检率那么低，那这个带菌的可能性大概会很高吧？
我们用贝叶斯公式去实际计算一下。

P (带 菌 | 阳 性) = P ( 带 菌 ) P ( 阳 性 | 带 菌 ) P ( 带 菌 ) P ( 阳 性 | 带 菌 ) + P ( 不 带 菌 ) P ( 阳 性 | 不 带 菌 ) = 0.03 \times 0.99 0.03 \times 0.99 + 0.97 \times 0.05 = 0.38

结果竟然连40%都没到。
问题出在哪里？我们没有注意到，带菌率低到只有0.03，甚至比误检率还要低。也就是说，在一大批人里可以检查出一堆阳性的，而这堆阳性的人里面真正带菌的，也只是一小部分而已。