【笔记】大数定理证明

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/a19990412/article/details/85283729

简述

复习一下概率论大数定理的证明。
证明大数定理，需要先证明切比雪夫（Chebyshev）不等式。

Chebyshev不等式证明

定理 设随机变量X具有数学期望 $E(x)=\mu$，方差为 $D(x) =\sigma^2$，则对任意正数 $\varepsilon$，不等式
$P\{|X-\mu| \geq \varepsilon\}\leq\frac{\sigma^2}{\varepsilon^2}$
成立。 这就是chebyshev不等式

证明： 只需要考虑连续变量的情况，离散情况将积分替换为累积求和即可。
$P\{|X-\mu| \geq \varepsilon\} = \int_{|X-\mu| \geq \varepsilon}{f(x)dx}\leq \int_{|X-\mu| \geq \varepsilon}{\frac{|X-\mu|^2}{\varepsilon^2}f(x)dx}\leq \\ \frac{1}{\varepsilon^2} \int_{}{|X-\mu|^2f(x)dx}=\frac{\sigma^2}{\varepsilon^2}$

得证。

大数定理证明

定理 设随机变量 $X_1,X_1,...,X_n$ i.i.d(independent and identically distributed 独立同分布)，具有数学期望 $E(x)=\mu$，方差为 $D(x) =\sigma^2$，样本均值 $\bar x$，则对任意正数 $\varepsilon$
$\lim\limits_{n \to \infty }{P\{|\bar x-\mu| \geq \varepsilon\}} =0$
成立。 这就是大数定理

证明：

• 样本均值的均值 $E(\bar x)=\mu$
• 样本均值的方差 $Var(\bar x)=\frac{\sigma^2}{n}$
  由切比雪夫不等式有，

$P\{|\bar x-\mu| \geq \varepsilon\} \leq \frac{var(\bar x)}{\varepsilon^2}=\frac{\sigma^2}{n*\varepsilon^2}$
得证。