概率论基础——概率论公理

概率论基础——概率论公理

  概率论是研究随机现象数量规律的数学分支，是一门研究事情发生的可能性的学问。概率论的发展与赌博有关，一些学者研究了这些机会游戏中的简单问题。随着18、19世纪科学的发展，人们注意到在某些生物、物理和社会现象与机会游戏之间有某种相似性，从而由机会游戏起源的概率论被应用到这些领域中，极大地促进了概率论的发展。
  我认为，理解概率论公理是一件十分重要的是，它是以往人们对概率问题描述的公理化，它是概率论的根，当概率有了明确的定义后，概率论才有飞速的发展，就像极限、无穷的定义后微积分的飞速发展一样。

1 样本空间和事件

1.1定义

  这两个概念是概率论问题表示方法的基本组成元素。对于一个试验，其试验结果是无法肯定预测的，尽管试验之前无法得知试验结果，但是假设所有可能结果的集合是已知的。试验所有可能的结果构成的集合称为该试验的样本空间，记为 $S$。这很好理解，例如抛一次硬币，其所有可能的结果就是正面和反面， $S=\{正面，反面\}$。
  事件（event）则是样本空间的任一子集，记为 $E$，对于抛硬币的试验，令 $E=\{正面\}$，那么该事件就是“抛出硬币为正面”。

1.2 相关定义

  将定义符号化后，可以轻易地做出推导，这是文字表示难以达到的效果。现在对于同一个样本空间 $S$的任意两个事件 $E、F$，有如下几个新定义：

1. 事件 $E\bigcup F$由以下结果组成：这些结果或在 $E$中或在 $F$中，或既在 $E$中又在 $F$中。即，事件 $E$或事件 $F$有一个发生，那么 $E\bigcup F$就发生，称为 $E$和 $F$的并；
2. 事件 $E\bigcap F$，或简写为 $EF$，称为 $E$和 $F$的交，它由 $E$和 $F$的公共元素组成；
3. 不可能事件是指不可能发生的事件，记为 $\varnothing$；
4. 如果 $EF=\varnothing$，则称 $E$和 $F$是不相容的；
5. 对于任意事件 $E$，定义事件 $E$的补，表示包含在样本空间中，但不包含在 $E$中的所有结果构成的事件，记为 $E^c$；
6. 如果 $E$的所有都在 $F$中，则称 $E$包含于 $F$，或 $F$包含 $E$，记为 $E\subset F$或 $F \supset E。$

  本质上都是集合的相关操作。足以见得集合论是概率论公理化的一个重要基础。

2 概率论公理

2.1 相对频率

  一种定义事件发生概率的方法是利用事件发生的相对频率。定义：假设有一个样本空间为 $S$的试验，它在相同的条件下可以重复进行，对于样本空间中的事件 $E$，记 $n(E)$为 $n$次重复试验中事件 $E$发生的次数。那么，该事件发生的概率 $P(E)$就定义如下：
$P(E)=\lim_{n\to \infty}\cfrac{n(E)}{n}$
即，定义概率 $P(E)$为 $E$发生的次数占试验总次数的比例的极限，也即 $E$发生频率的极限。
  这个定义看起来很符合我们现代人的直观感受，但是它却有很严重的缺陷——凭什么就说 $\cfrac{n(E)}{n}$就一定会收敛到一个固定的常数呢？并且，如果再次进行同一个试验的重复试验，怎么就能保证它还会收敛到相同的常数呢？这种缺陷的存在是不能够进行严谨的数学推理的，如何定义概率并把概率论建立在严谨的逻辑上是概率论发展的一个困难，直到20世纪初完成的勒贝格测度与积分理论及随后发展的抽象测度和积分理论，为概率公理体系的建立奠定了基础。在这个背景下，苏联数学家柯尔莫哥洛夫1933年在他的《概率论基础》一书中第一次给出了概率的测度论的定义和一套严密的公理体系。他的公理化方法成为现代概率论的基础，使概率论成为严谨的数学分支，对概率论的迅速发展起了积极的作用。

2.2 概率论公理

  柯尔莫哥洛夫提出的概率论公理成为了概率论发展的根，有了严谨的定义后，才有之后的发展。假设某个试验的样本空间为 $S$，对应于其中任一事件 $E$，定义一个实数 $P(E)$，它满足以下3个公理：

• 公理1：非负性， $0\le P(E)\le 1$；
• 公理2：规范性， $P(S)=1$；
• 公理3：可列（完全）可加性，对任一列互不相容的事件 $E_1,E_2,\cdots$，(符号的表示为如果 $i\ne j$，则 $E_iE_j=\varnothing$)，有:
  $P(\bigcup_{i=1}^\infty E_i)=\sum_{i=1}^\infty P(E_i)$

2.3 由公理得到的命题

  有了公理，也就有了树根，根据公理我们会得到几个命题：

• $1=P(E)+P(E^c)$，一个事件不发生的概率等于1减去一个它发生的概率；
• 如果 $E\subset F$，那么 $P(E)\le P(F)$；
• $P(E\bigcup F)=P(E)+P(F)-P(EF)$
• 容斥恒等式:
  $P(E_1\bigcup E_2\bigcup \cdots \bigcup E_n)=\sum_{i=1}^nP(E_i)-\sum_{i_1\lt i_2}P(E_{i_1}E_{i_2})+\cdots+\\ (-1)^{r+1}\sum_{i_1\lt i_2\lt \cdots \lt i_r}P(E_{i_1}E_{i_2}\cdots E_{i_r}) +\cdots+(-1)^{n+1}P(E_1E_2\cdots E_r)$
    其中， $\sum_{i_1\lt i_2\lt \cdots \lt i_r}P(E_{i_1}E_{i_2}\cdots E_{i_r})$表示对一切下标集合 $\{i_1,i_2,\cdots,i_r\}$所对应的值求和，和项一共包含 $\begin{pmatrix} n\\ r\end{pmatrix}$项。

3 等可能结果的样本空间

  对于一个试验，我们一般很自然地会假设，样本空间中的所有结果发生的可能性都是一样的。这是传统概率也叫拉普拉斯概率，如果一个随机试验所包含的单位事件是有限的，且每个单位事件发生的可能性均相等，则这个随机试验叫做拉普拉斯试验。传统概率在实践中被广泛应用于确定事件的概率值，其理论根据是：如果没有足够的论据来证明一个事件的概率大于另一个事件的概率，那么可以认为这两个事件的概率值相等。
  考虑一个试验，其样本空间 $S$是有限集，设 $S=\{1,2,\cdots N\}$，我们会根据传统概率来确定每一个单独结果的概率：
$P(\{1\})=P(\{2\})=\cdots=P(\{N\})$
根据公理2、3上式意味着：
$P(\{i\})=\cfrac{1}{N}$
再根据公理3，对于任何事件 $E$，事件发生的概率 $P(E)$为：
$P(E)=\cfrac{E中的结果数}{S中的结果数}$

4 概率是确信程度的度量

  概率可以是人们对自己的说法的确信程度的一种度量。经常被称为主观概率。

参考资料：
《概率论基础教程》Sheldon M.Ross
百度百科——概率论