概率论与数理统计知识点(一) 基本概念

1. 随机试验

---

具有以下特征的试验，被称作随机试验

1. 可以在相同条件下重复地进行
2. 每次试验的可能结果不止一个，并且能实现明确试验的所有可能结果；
3. 进行一次试验之前不能确定哪一个结果会出现

2. 样本空间

---

• 随机试验E的所有可能结果组成的集合称为E的样本空间，记做S

• 样本空间的元素，即E的每个结果，称为样本点

3. 随机事件

---

• 试验E的样本空间S的子集为E的随机事件，简称事件
• 在每次试验中，当且仅当这一子集中的一个样本点出现时，称这一事件发生
• 由一个样本点组成的单点集，称为基本事件
• 样本空间S包含所有的样本点，称为必然事件
• 空集 $\empty$不包含任何样本点，在每次试验中都不发生，称为不可能事件

4. 事件间的关系和事件的运算

---

4.1 事件关系

1. 子事件: $A \subset B$ , 表示A发生，则B必发生
2. 相等事件: $A \subset B$ 且 $B \subset A$ => A=B
3. 和事件： $A \cup B = \{x| x \in A \quad or \quad x \in B\}$ A与B至少一个发生
4. 积事件： $A \cap B = \{x| x \in A \quad and \quad x \in B\}$ A与B同时发生
5. 差事件： $A - B = \{x| x \in A \quad and \quad x \not\in B\}$ A发生 、B不发生
6. 互斥事件： $A \cap B = \emptyset$
7. 逆事件/对立事件： $A \cup B = S \quad and \quad A \cap B = \emptyset$ A和B只有一个发生
   A的逆事件记做 $\overline {A}=S- \overline{B}$

4.2 事件运算

1. 交换律 $A \cup B = B \cup A$ ; $A \cap B = B \cap A$

2. 结合律 $(A \cup B)\cup C = A \cup (B\cup C)$; $(A \cap B)\cap C = A \cap (B\cap C)$

3. 分配律 $(A \cup B)\cap C = (A \cap C) \cup (B\cap C)$; $(A \cap B)\cup C = (A \cup C) \cap (B\cup C)$

4. 德摩根律 $\overline {A \cup B}=\overline{A} \cap \overline{B}$ ;

   ​ $\overline {A \cap B}=\overline{A} \cup \overline{B}$

5. 频率与概率

---

5.1 频率

• 在相同的条件下，进行了n次试验，在这n次试验中，事件A 发生的次数 $n_A$称为事件A发生的频数 ，比值 $n_A/n$叫做事件A发生的频率，记做 $f_n(A)$

5.2 概率

• 设E 是随机试验，S是它的样本空间，对于E的每一个事件A赋予一个实数，记做 $P(A)$ ,称为事件A的概率。概率函数具有以下性质

  1. 非负性 ： 对于每一个事件A ，有 $P(A)>=0$

  2. 规范性： 对于必然事件，有 $P(S)=1$

  3. 可列可加性： 设 $A_1,A_2,A_3,\cdots$ 是两两互不相容的事件，即 $A_iA_j=\emptyset,i\neq j, \quad i,j = 1,2,3,\cdots$ ，有

     $P(A_1 \cup A_2 \cup A_3 \cdots )=P(A_1)+P(A_2)+P(A_3)+\cdots$

• 性质

  1. $P(\emptyset)=0$
  2. 有限可加性 若 $A_1,A_2,A_3,\cdots,A_n$ 是两两互不相容的事件,则有 $P(A_1 \cup A_2 \cup A_3 \cdots \cup A_n)=P(A_1)+P(A_2)+P(A_3)+\cdots+P(A_n)$
  3. 设A,B是两个事件，若 $A \subset B$ 则 有 $P(B-A)=P(B)-P(A); \quad P(B) \geq P(A)$
  4. 对于任意事件A， $P(A) \leq 1$
  5. 逆事件的概率 对于任意事件A， $P(\overline{A}) = 1-P(A)$
  6. 加法公式 对于任意的两事件A,B有 $P(A \cup B)=P(A)+P(B)-P(AB)$
     $1^o.$ 该性质可推广至多个事件，如 $A_1,A_2,A_3$为任意三个事件，则 $P(A_1 \cup A_2 \cup A_3)=P(A_1)+P(A_2)+P(A_3)-P(A_1A_2)-P(A_1A_3)-P(A_2A_3)+P(A_1A_2A_3)$
     $2^o.$ 一般，对于任意n个事件， $A_1,A_2,A_3,\cdots,A_n$ ，可以用归纳法证得
     $P(A_1 \cup A_2 \cdots \cup A_n)=\sum_{i=1}^{n}{P(A_i)} - \sum_{1 \le i <j \le n }{A_iA_j} + \sum_{1 \le i <j<k \le n}{P(A_iA_jA_k)} + \cdots + (-1)^{n-1}P(A_1A_2\cdots A_n)$

6. 古典概率模型

• 1）试验的样本空间只包含有限个元素 2）试验中每个基本事件发生的可能性相同，具有这两个特点的试验，叫做等可能概型，是概率论发展初期的主要研究对象因此又叫做古典概型

  $P(A) = \sum_{j=1}^{k}{P(\{{e_i}_j\})} = \frac{k}{n} = \frac{A包含的基本事件数}{S中基本事件的总数}$

7. 条件概率

• 对于一般古典概型，设试验的基本事件总数为n,A中所包含的基本事件数为m(m>0),AB所包含的基本事件数为k，则有 $P(B|A)=\frac{k}{m} = \frac{k/n}{m/n}=\frac{P(AB)}{P(A)}$.

• 定义 设A,B是两个事件，且P(A)>0,称 $P(B|A)=\frac{P(AB)}{P(A)}$ 为在事件A发生的条件下事件B发生的条件概率，具有以下性质：

  1. 非负性: 对于每一事件B，有$P(B|A) \ge 0 $
  2. 规范性：对于必然事件S，有$P(S|A) = 1 $
  3. 可列可加性： 设 $B_1,B_2,\cdots$ 是两两互不相容的事件，则有 $P(\bigcup_{i=1}^{\infty} |A)=\sum_{i=1}^{\infty}{P(B_i|A)}$

     对于任意事件 $B_1,B_2$ ，有 $P(B_1\cup B_2|A) = P(B_1|A)+P(B_2|A)-P(B_1B_2|A)$.

• 乘法定理

  由条件概率的定义，设 $P(A)>0$，则有 $P(AB)=P(B|A)P(A)$，该式称为乘法公式

  • 一般，设 $A_1,A_2,A_3,\cdots ,A_n$为n个事件， $n \ge 2$，且 $P(A_1A_2A_3\cdots A_{n-1})>0$，则有

    $P(A_1A_2A_3\cdots A_{n})=P(A_n|A_1A_2A_3\cdots A_{n-1})P(A_{n-1}|A_1A_2A_3\cdots A_{n-2})\cdots P(A_2|A_1)P(A_1) \quad \tag{1}$

    式（1）在理解的时候，可以尝试从等号右边式子的最右侧开始分析，如 $P(A_2|A_1)P(A_1)=P(A_1A_2)$, 式（1）的倒数第三项为 $P(A_3|A_1A2)$,则 $P(A_3|A_1A2)P(A_2|A_1)P(A_1) = P(A_3|A_1A2)P(A_1A_2) = P(A_1A_2A_3)$,以此类推，可归纳出式（1）

• 全概率公式

  • 划分定义，设S为试验E的样本空间， $B_1,B_2,\cdots B_n$为E的一组事件，若

    1. $B_iB_j=\empty,i\neq j,i,j=1,2,\cdots,n;$
    2. $B_1\cup B_2\cup \cdots \cup B_n=S$,

    则称 $B_1,B_2,\cdots B_n$为样本空间S的一个划分(完备事件组)

  • 定理 设试验E的样本空间为S，A为E的时事件， $B_1,B_2,\cdots B_n$为S的一个划分，且 $P(B_i)>0(i=1,2,\cdots,n)$，则 $P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+\cdots+P(A|B_n)P(B_n)$ 该式被称为全概率公式

  • 定理 设试验E的样本空间为S，A为E的时事件， $B_1,B_2,\cdots B_n$为S的一个划分，且 $P(A)>0,P(B)>0 \quad(i=1,2,\cdots,n)$，则 $P(B_i|A) = \frac{P(A|B_i)P(B_i)}{\sum_{j=1}^{n}{P(A|B_j)P(B_j)}} \quad i = 1,2,\cdots,n. \tag{2}$

    该式称为贝叶斯(Bayes)公式

  • 根据以往经验和分析得到的概率，叫做先验概率,如式(2)中的 $P(B_i)$

  • 一个随机事件或者一个不确定事件的后验概率是在考虑和给出相关证据或数据后所得到的条件概率

  参照式2 可以简单理解为

  A: 事件的结果(观测数据)

  B: 事件的影响因素

  $P(B|A)$ : 后验概率

  $P(B)$ : 先验概率

8. 独立性

• 设A,B两个事件，如果满足等式 $P(AB)=P(A)P(B)$ 则称事件A,B相互独立，简称A,B独立

• 定理1 设A,B两个事件，且 $P(A)>0$ ，若A,B 相互独立，则 $P(B|A)=P(B)$ 反之亦然。

• 定理2 若A与B相互独立，则下列各队事件也相互独立：

  • A 与 $\overline B$ B 与 $\overline A$ , $\overline A 与 \overline B$

• 设A,B,C三个事件，如果满足等式

  $\left. \begin{array} {lcl} P(AB)=P(A)P(B)， \\ P(BC)=P(B)P(C)， \\ P(AC)=P(A)P(C)， \\ P(ABC)=P(A)P(B)P(C) \\ \end{array} \right\}$
  则称事件A，B，C相互独立,该定义有以下推论

  • 若事件 $A_1,A_2,\cdots,A_n(n\ge2)$ 相互独立，则其中任意 $k(2\le k\le n)$ 个事件也是相互独立的
  • 若n个事件 $A_1,A_2,\cdots,A_n(n\ge2)$ 相互独立，则将 $A_1,A_2,\cdots,A_n(n\ge2)$ 中任意多个事件换成他们各自的对立事件，所得的n个事件仍相互独立

• 若n个事件 $A_1,A_2,\cdots,A_n(n\ge2)$ 相互独立，有 $P(\bigcap_{i=1}^{n}{A_i}) = \prod_{i=1}^{n}{P(A_i)} ;\quad P(\bigcup_{i=1}^{n}{A_i}) =1- \prod_{i=1}^{n}{P(\overline{A_i})}=1- \prod_{i=1}^{n}{(1-P(A_i))}$