数学基础-概率论

概率论

样本空间：一个_随机试验_的所有可能结果组成的集合
事件： \(S\)的一个子集\(A\), \(A \subseteq S\), 称为事件.
\(A \cup B\), \(A\) 与 \(B\)的并, 即发生\(A\)或\(B\)或者两者都发生;\(A \cap B\), \(A\)与\(B\)的交, 即\(A\)与\(B\)都发生;\(A^c\), \(A\)的补, 即\(A\)不发生; \(A\setminus B\), \(A\)与\(B\)的差, 即\(A\)发生, \(B\)不发生;\(\oslash\), 空, 即都不发生;
概率公理: 满足以下3个条件的函数称之为概率函数.

\(0 \le P(A) \le 1\)
\(P(s) = 1\)
如果\(A_1A_2A_3...\)是一系列两两无关的事件,则\[P\lgroup \bigcup_{k=1}^{\infty}A_k \rgroup = \sum_{k=1}^{\infty}P \lgroup A_{k} \rgroup\]

条件概率: 令\(B\)为一个事件满足\(P(B)>0\).对于任意一个事件\(A\),定义关于\(B\)的条件概率为:\[P \lgroup A | B \rgroup = \frac{P(A \cap B)}{P(B)}\]
独立: 如果事件\(A\)和事件\(B\)相互独立,那么\(P(A \cap B) = P(A)P(B)\), 同时它的逆命题也是成立的.

概率的加法公式: \[P(A \cup B) = P(A) + P(B) - P(A \cap B)\]
并的界\[P(A \cup B) \le P(A) + P(B)\]
全概率公式:
设\(B1B2B3...\)是样本空间\(S\)中互不相交的一系列事件,并且满足\(S = \bigcup_{i=1}^{n}B_i\), 那么对于任意事件\(A\),\[P \lgroup A \rgroup = \sum_{k=1}^{n} P \lgroup A | B_k \rgroup P \lgroup B_k \rgroup\]

随机变量: 在样本空间\(S\)上的一个随机变量\(X\)是\(S\)上的一个取值为实数的函数.只取有限个或者可数无穷多个值的随机变量称为离散随机变量;(e.g. 假设\(X\)是表示骰子点数的随机变量,那么对于一个公平的骰子来说,\(P \lgroup X = 1 \rgroup = \frac{1}{6}\)
数学期望: 对于取值有限的离散型随机变量\(X\), 假设\(X\)有概率分布\(p_j = P \lgroup X = x_j \rgroup\), 则称\(E \lgroup X \rgroup = \sum_{j=1}^{n}x_jp_j\)为\(X\)的数学期望, 其中n为\(X\)不同取值的个数. 例如对于一个公平的骰子来说,\(X\)是表示骰子点数的随机变量,则\[E(x) = \frac{1}{6}(1+2+3+4+5+6)=3.5\]
方差: 定义离散随机变量\(X\)的方差为\(var(X)=E(X-E(X))^2\).称\(\sigma_x=\sqrt{var(X)}\)为其标准差.

期望的线性性: 对于任意一组有限个离散随机变量来说\(X_1,X_2,X_3,...,X_n\) \[\sum_{i=1}^{n}E(X_i) = E\lgroup \sum_{i=1}^nX_i \rgroup\]
如果\(X\)和\(Y\)是两个独立的随机变量,那么\[E(XY)=E(X)E(Y)\]
马尔科夫不等式: 假设\(X\)是只取非负数值的随机变量, 对于任意\(a>0\), 有\[P \lgroup X \ge a \rgroup \le \frac{E(X)}{a}\]
切比雪夫不等式: 对于任意随机变量\(X\)及任意\(a>0\), 有\[P\lgroup |X-E(x)| \ge a \rgroup \le \frac{var(X)}{a^2}\]

二项分布: 一个事件\(A\),它发生的概率为\(p\),进行\(n\)次实验,事件\(A\)发生\(k\)次的概率. 二项分布的概率函数满足\[p(k)= \binom{n}{k}p^k(1-p)^{n-k}\]
称为以n,p为参数的二项分布. 随机变量\(X\)表示\(n\)次实验中正面朝上的次数,由线性性可知:\[E[X]=E_1[X]+E_2[X]+\cdots+E_n[X]=n(0 \times(1-p)+1\times p)=np\]其中\(E_i[X]\)表示第i次朝上的期望
几何分布: 一个事件\(A\),它发生的概率为\(p\),进行\(n\)次实验,直到第\(k\)次事件才发生的概率. 概率函数满足\[p(k)= p(1-p)^{k-1}\]
称为参数\(p\)的几何分布. 随机变量\(X\)表示第一次朝上时抛了多少次.可以通过递归列出方程求解.\[E[X]=p+(1-p)(E[X]+1)\]解的期望为\(E[X]=\frac{1}{p}\).