[数学公式]常用数学公式（二）——概率论

古典概型

1. 定义：
   （1） 试验中所有可能出现的基本事件只有有限个；
   （2） 试验中每个基本事件出现的可能性相等。
   具有以上两个特点的概率模型是大量存在的，这种概率模型称为古典概率模型，简称古典概型，也叫等可能概型。
2. 概率公式：
   $$P（A）= \frac{m}{n} = \frac{A包含的基本事件的个数m}{基本事件的总数n}$$

概率公式

条件概率

$$P(A|B)=\frac{P(AB)}{B}$$

全概率公式

$$P(A)=\sum_iP(A|B_i)P(B_i)$$

贝叶斯公式

$$P(B_i|A)=\frac{P(A|B_i)P(B_i)}{\sum_jP(A|B_j)P(B_j)}$$
$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$
给定某系统的若干样本x，计算该系统的参数，即 $$P(\theta|x)=\frac{P(x|\theta)P(\theta)}{P(x)}$$
$P(\theta)$：没有数据的支持下， $\theta$发生的概率：先验概率。例如：在没有任何信息的前提下，猜测某人姓氏：先猜测李王张刘……猜对的概率比较大
$P(\theta|x)$：在数据的支持下， $\theta$发生的概率：后验概率。若知道某人来自“刘家村”，则他姓刘的概率比较大
$P(x|\theta)$：给定某参数 $\theta$的概率分布：似然函数

分布

两点分布（0-1分布/伯努利分布）

已知随机变量X的分布律为：

$$P(x=1)=p，P(x=0)=1-p$$
则有：
$$E(X)=1\cdot p + 0 \cdot (1-p) = p$$
$$D(X)=E(X^2)-[E(X)]^2=1^2p+0^2(1-p)-p^2=p(1-p)$$

二项分布

设随机变量$X$服从参数为$n,p$二项分布，
1. 设$X_i$为第$i$次实验中事件$A$发生的次数，$i=1,2,...,n$
则

$$X=\sum_{i=1}^nX_i$$
显然， $X_i$相互独立均服从参数为 $p$的0-1分布，
所以， $E(X)=\sum_{i=1}^{n}E(X_i)=np$
$D(X)=\sum_{i=1}^{n}D(X_i)=np(1-p)$
2. $X$的分布律为 $$P{X=k}=\left ( \begin{matrix} n\\ k \end{matrix} \right) p^k(1-p)^{n-k},(k=0,1,2,...,n)$$ 则有 $$E(X)=\sum_{k=0}^{n}k\cdot P\{X=k\}=\sum_{k=0}^{n}k\left( \begin{matrix} n\\ k\\ \end{matrix} \right) p^k(1-p)^{n-k}=np$$
$$E(X^2)=(n^2-n)p^2+np$$
$$D(X)=np(1-p)$$

泊松分布

定义

　　泊松分布就是描述某段时间内，事件具体的发生概率。如：
　　1. 汽车站台的候车人数；
　　2. 自然灾害发生次数；
　　3. 机器出现故障的次数等

概率分布函数为：

$$P(N(t)=n) = \frac{(\lambda t)^n}{n!}e^{-\lambda t} (n=0,1,2,......)$$
　　 $λ>0$是常数，是区间事件发生率的均值。
　　其中P表示概率，N表示某种函数关系，t表示时间，n表示数量， $\lambda$表示事件的频率。如已知平均每个小时出生3个新生儿，求下一个小时出生两个婴儿的概率： $$P(N(1)\ge2)=1-P(N(1)=1)-P(N(1)=0)=1-\frac{(3\times 1)^1e^{-3\times 1}}{1!}-\frac{(3\times 1)^0e^{-3\times 1}}{0!}=1-4e^{-3}$$

期望：

　　

$$E(X)=\sum^{\infty}_{k=0}k\cdot\frac{\lambda^k}{k!}e^{-\lambda}=e^{-\lambda}\sum^{\infty}_{k=1}\frac{\lambda^{k-1}}{(k-1)!}\cdot\lambda=\lambda e^{-\lambda}\cdot e^\lambda =\lambda$$

方差：

　　

$$E(X^2)=E[X(X-1)+X]=E[X(X-1)]+E(X)=\sum_{k=0}^{+\infty}k(k-1)\cdot \frac{\lambda^k}{k!}e^{-\lambda} + \lambda=\lambda^2e^{-\lambda}\sum_{k=2}^{+\infty}\cdot \frac{\lambda^{k-2}}{(k-1)!}+\lambda=\lambda^2e^{-\lambda}e^{\lambda}+\lambda=\lambda^2+\lambda$$
所以， $D(X)=E(X^2)-[E(X)]^2=\lambda^2+\lambda-\lambda^2=\lambda$
即，泊松分布的期望和方差都为 $\lambda$

分布图形

　　泊松分布的大概图形：
越在频率附近发生的概率越高

指数分布

　　指数分布是事件的时间间隔的概率。如：
　　1. 婴儿出生的时间间隔；
　　2. 来电的时间间隔；
　　3. 奶粉销售的时间间隔；
　　4. 网站访问的时间间隔

分布函数

　　指数分布的分布函数可以由泊松分布来推断。如果下一个婴儿出生要间隔时间t,就等同于在时间t内没有婴儿出生。由泊松分布公式可得：

$$P(X>t)=P(N(t)=0)=\frac{(\lambda t)^0 e^{-\lambda t}}{0!}=e^{-\lambda t}$$
　　反之，时间在时间t之内发生的概率，就是1减去上面的值。 $$P(X\le t)=1-P(X>t)=1-e^{-\lambda t}$$

无记忆性

指数函数的无记忆性是指，如果x是某电器元件的寿命，已知元件使用了s小时，则共使用至少$s+t$小时的条件概率，与从未使用开始至少使用$t$小时的概率相等。

均匀分布

设$X\thicksim U(a,b)$，其概率密度为

$$f(x)=\begin{equation} \left\{ \begin{aligned} \frac{1}{b-a}，(a<x<b)，\\ 0，其他. \end{aligned} \right. \end{equation}$$
则有 $$E(X)=\int_{-\infty}^{\infty}xf(x)dx=\int_{a}^{b}\frac{1}{b-a}xdx=\frac{1}{2}(a+b)$$
$$D(X)=E(X^2)-[E(X)]^2=\int_{a}^{b}x^2\frac{1}{b-a}dx-(\frac{a+b}{2})^2=\frac{(b-a)^2}{12}$$

正态分布

　　正态分布又叫高斯分布。正态曲线呈钟型，两头低，中间高，左右对称因其曲线呈钟型，又经常称之为钟形曲线。
　　若随机变量$X$服从一个数学期望为$\mu$、方差为$\sigma^2$的正态分布，记为$N(\mu,\sigma^2)$。其概率密度函数为正态分布的期望值$\mu$决定了其位置，其标准差$\sigma$决定了分布的幅度。当$\mu=0,\sigma=1$时的正态分布是标准正态分布。
　　

定理

　　为了便于描述和应用，常将正态变量做数据转换。将一般正态分布转化为标准正态分布。
　　若$X\sim N(\mu,\sigma^2),Y=\frac{X-\mu}{\sigma}\sim N(0,1)$
　　服从标准正态分布，通过查标准正态分布表就可以直接计算出原正态分布的概率值。故该变换被称为标准化变换。

定义

一维正态分布

　　若随机变量X服从一个位置参数为$\mu$、尺度参数为$\sigma$的概率分布，且其概率密度函数为

$$f(x)=\frac{1}{\sigma\sqrt{2\pi}}\exp(-\frac{(x-\mu)^2}{2\sigma^2})$$
　　则这个随机变量就称为 正态随机变量，正态随机变量服从的分布就称为 正态分布，记作 $X\sim N(\mu,\sigma^2)$，读作X服从 $N(\mu,\sigma^2)$，或服从正态分布。
　　 $\mu$维随机向量具有类似的概率规律时，称此随机向量遵从多维正态分布。

标准正态分布

　　当$\mu=0,\sigma=1$时，正态分布就称为标准正态分布

$$f(x)=\frac{1}{\sqrt{2\pi}}e^{(-\frac{x^2}{2})}$$