统计-大数定律及中心极限定理

第五章 大数定律及中心极限定理

切比雪夫不等式

定理

设随机变量X的数学期望E(X)和方差D(X)都存在，则对任意$\varepsilon$>0,都有

P{|X-E(X)|≥$\varepsilon$}≤${{D(X)\over \varepsilon^2}}$ ($\forall\varepsilon$>0)

P{|X-$\mu$|≥$\varepsilon$}≤${{\sigma^2}\over {\varepsilon^2}}$

{|X-$\mu$|≥$\varepsilon$}的对立事件是{|X-$\mu$|<$\varepsilon$}

另一个形式

P{|X-$\mu$|<$\varepsilon$}≥$1-{{\sigma^2}\over {\varepsilon^2}}$

意义

在随机变量X的分布位置，而只知道X的均值和方差（或已知分布但很复杂）的情况下，切比雪夫不等式给出了概率P{|X-E(X)|≥$\varepsilon$}的一个估计范围

1.对给定的$\varepsilon$>0，估计|X-E(X)|≥$\varepsilon$的概率

2.对给定的概率p，确定所需的区间长度，即确定满足不等式

P{|X-E(X)|≥$\varepsilon$}≥p的$\varepsilon$

例子

设某电网有1000盏灯，夜里每盏灯开灯的概率都是0.7.假设电灯开关时间彼此独立，试估计夜晚同时开着的灯数在6800与7200之间的概率

X表示在夜晚开着电灯的数

X服从参数n=10000，p=0.7的二项分布

p{6800

大数定律

依概率收敛

设X1,X2,…,Xn,…是一个随机变量的序列，a是一个常数。

若对应任意实数$\varepsilon$>0都有

$\lim_{n \to \infty}P{|X_n-a|<\varepsilon}=1$

则称序列X1,X2,…,Xn,…依概率收敛与a，记为

$X_n \xrightarrow{P}a$

以上极限等价于$\lim_{n \to \infty}P{|X_n-a|≥\varepsilon}=0$

{Xn}依概率收敛与a是指：当n充分大后，随机变量Xn几乎总是取值a，或者取值与a非常接近。

大数定律是有关随机变量序列的前n项的算术平均值在一定条件下收敛到这n项的数学期望的算术均值的定理

大数定律定理

设{$X_k$}为随机变量序列，它们数学期望都存在。若对于任意$\varepsilon$>0都有

$\lim_{n \to \infty}P\{|{1 \over n}\sum_{k=1}^nX_k-{1\over n}\sum_{k=1}^nE(X_k)|<\varepsilon\}=1$

则称随机变量序列{$X_k$}服从大数定律。

以上极限表明：${1 \over n}\sum_{k=1}^nX_k \xrightarrow{P} {1\over n}\sum_{k=1}^nE(X_k)$

#### 切比雪夫大数定理

设X1,X2,…,Xn,…是相互独立的随机变量的序列，它们的数学期望和方差都存在，且存在常数C，使得D(Xk)≤C(k=1,2,..)则对于任意$\varepsilon$>0有

$\lim_{n \to \infty}P\{|{1 \over n}\sum_{k=1}^nX_k-{1\over n}\sum_{k=1}^nE(X_k)|<\varepsilon\}=1$

即 ${1 \over n}\sum_{k=1}^nX_k \xrightarrow{P} {1\over n}\sum_{k=1}^nE(X_k)$

所有随机变量互相独立

若$\overline{X}=$${1 \over n}\sum_{k=1}^nX_k$ 则

$\lim_{n \to \infty}P\{|\overline{X}-E(\overline{X})|<\varepsilon\}=1$

即 $\overline{X} \xrightarrow{P} E(\overline{X})$

当n充分大时，X1,X2,…,Xn的算术平均值

$\overline{X}=$${1 \over n}\sum_{k=1}^nX_k$

在概率意义下会充分接近其数学期望E($\overline{X}$)

辛钦大数定理

设X1,X2,…,Xn,…是相互独立,$\color{red}{服从同一分布}$的随机变量的序列，且具有数学期望E($X_k$)=$\mu$(k=1,2,..)则对于任意$\varepsilon$>0有

$\lim_{n \to \infty}P\{|{1 \over n}\sum_{k=1}^nX_k-\mu|<\varepsilon\}=1$或

$\lim_{n \to \infty}P\{|\overline{X}-\mu|<\varepsilon\}=1$

即在定理的条件下，随机变量X1,X2,…,Xn,..的算术平均值将以概率收敛到$\mu$

$\overline{X} \xrightarrow{P} \mu$

伯努利大数定理

设在n次独立实验中事件A发生的次数为$f_A$，p是事件A在每次事件中发生的概率，则对于任意$\varepsilon$>0有

$\lim_{n \to \infty}P\{|{f_A\over n}-p|<\varepsilon\}=1$

${f_A\over n} \xrightarrow{P} \mu$

在实际运用中，当试验次数较多时，我们常以事件发生的频率来近似地估计事件发生的概率。

中心极限定理

概念

在一定条件下，充分多的相互独立的随机变量的算术平均值将服从正态分布，不管这些随机变量本身服从什么分布。

列维-林德伯格定理 Levy-Lindberg（独立同分布的中心极限定理）

定义

设随机变量X1,X2,…,Xn,…是相互独立,$\color{red}{服从同一分布}$并且E($X_k$)=$\mu$,D($X_k$)=$\sigma^2$>0(k=11,2,..)，则随机变量

$Y_n={{\sum_{k=1}^n}X_k-n\mu \over {\sqrt{n}\sigma}}$ （前n个随机变量和-n乘数学期望）

的分布函数$F_n=P\{Y_n≤x\}$满足

$\lim_{n \to \infty F_n(x)}=\lim_{n \to \infty P\{Y_n≤x\}}=\Phi(x)=\int_{-\infty}^x{1 \over {\sqrt{2/pi}}}^{e-{t^2 \over 2}}dt$ （标准正态分布）

以上定理表示：若随机变量X1,X2,…,Xn,…是相互独立同分布，且E(Xk)D(Xk)存在，当n很大时，Yn近似地服从标准正态分布N(0,1)

同时除以n $Y_n={{1 \over n}{\sum_{k=1}^n}X_k-\mu \over {\sigma \over \sqrt{n}}}$ =${{\overline{X}-\mu} \over {\sigma \over \sqrt{n}}}$ ~N(0,1)

$E(\overline{X})=E({1 \over n}{\sum_{k=1}^nX_k})={1 \over n}{\sum_{k=1}^nE(X_k)}=\mu$

$D(\overline{X})=D({1 \over n}{\sum_{k=1}^nX_k})={1 \over n^2}{\sum_{k=1}^nD(X_k)}={1\over{n^2}}n\sigma^2={\sigma^2\over n}$

$Y_n$是$\overline{X}={1 \over n}{\sum_{k=1}^nX_k}$的标准化变了

以上定理表明，在定理的条件下，无论{Xk}服从什么分布，当n很大时候，其前n项的算术均值$\overline{X}$的标准化服从正态分布N(0,1)

或者等价地，为标准化的

$\overline{X}={1 \over n}{\sum_{k=1}^nX_k}$~$N(\mu,{\sigma^2 \over n})$

X~$N(\mu,\sigma^2)=>Y=aX+b~N(a\mu+b,a^2\sigma^2)$

写法

部分和 $S_n={\sum_{k=1}^nX_k}$~$N(n\mu,{n\sigma^2})$

部分和标准化$Y_n={{\sum_{k=1}^n}X_k-n\mu \over {\sqrt{n}\sigma}}$~N(0,1)

算术平均值 $\overline{X}={1 \over n}{\sum_{k=1}^nX_k}$~$N(\mu,{\sigma^2 \over n})$

算术平均值标准化$Y_N={{\overline{X}-\mu} \over {\sigma/\sqrt{n}}}$~N(0,1)

例子

设某糖厂包装一批白糖，每袋标准量为1kg，由于误差，每袋白糖的重量在0.95，1.05kg上均匀分布。设每袋白糖的重量相互独立。若装1200袋白糖，问总质量大于1202kg的概率是多少？

设Xi表示第i袋的白糖重量 i=1，。。。，1200

$X_i$~U(0.95,1.05) $\mu=E(X_i)$=(0.95+1.05)/2=1

$\sigma^2=D(X_i)$=$(1.05-0.95)^2 \over 12$=1\1200

独立分布方差，期望都存在， 符合列定理 部分和 $S_n={\sum_{k=1}^nX_k}$~$N(n\mu,{n\sigma^2})$

白糖总重量

X=$\sum_{k=1}^{1200}X_k$~N(1200x1，1200*1/1200)=N(1200,1 )

p{X>1201}=1-{X≤1202}≈1-$\Phi({{1202-1200}\over 1})$（正态分布标准化）=1-$\Phi$(2)=1-0.9772(查表)=0.0228

棣莫弗-拉姆拉斯定理 （二项分布的极限分布）

定义

设随机变量$X_n$服从参数为n,p(0

例子

设在某实验中，事件A发生的概率为1/3。若独立的做了90000次试验，qui事件A发生次数在29500~30500之间的概率。

记X是90000次试验中事件A发生的次数

X服从二项分布b（90000，1/3），其中分布律为

P{X=k}=$\C_{90000}^k({1\over3})^k({2\over3})^{90000-k}$

P{29500≤X≤30500}=$\C_{k=29500}^{30500}({1\over3})^k({2\over3})^{90000-k}$

计算量太大，用正态分布近似计算

np=90000*1/3=30000

np(1-p)=90000 * 1/3 * 2/3=20000

P{a

李雅普诺夫定理 （独立不同分布的中心极限定理）