Conclusion C

C    概率评估

$\qquad$在本附录中，我们简要回顾了概率论的一些基本概念，并将定义整个教材中使用的符号。

C.1    概率

概率空间由三部分组成：样本空间、事件集和概率分布：

• 样本空间 $\Omega$： $\Omega$是试验中可能发生的所有基本事件或结果的集合，例如当抛骰子时，所有可能出现在结果都在 $\big(1,\dots,6)$ 之间出现。
• 事件集合 $\mathcal F$: $\mathcal F$是一个 $\sigma$-代数，它是 $\Omega$包含 $\Omega$的子集的集合，它在互补和可数并(因此也有可数交集)下封闭。事件的一个例子可能是“骰子落在一个奇数上”。
• 概率分布： $\mathbb R$是所有事件 $\mathcal F$到[0，1]的映射，使得 $\mathbb P$[ $\Omega$]=1, $\mathbb P$[ $\phi$]=1,并且，对于互斥事件 $A_{_1}$, $\dots$, $A_{_n}$,

$$\mathbb P[A_{1}\cup\dots\cup A_{n}]=\sum^{n}_{i=1}\mathbb P[A_{i}]$$

$\qquad$在均匀骰子的离散概率分布中可任意定义为 $\mathbb P$[ $A_{_i}$]=1/6对于i $\in${1 $\dots$6}，其中 $A_{_i}$是骰子落在值i上的事件。

C.2    随机变量

定义c.1（随机变量）随机变量 ${X}$是一个可测度的函数： $\Omega$ $\rightarrow$ $\mathbb R$,即对于任意区间 ${I}$，样本空间的子集{ $\omega$ $\in$ $\Omega$:X( $\omega$) $\in{I}$}是一个事件。
$\qquad$离散随机变量 ${X}$的概率质量函数定义为函数x $\mapsto$ $\mathbb P$[ ${X}$= ${x}$]。定义为离散随机变量 ${X}$和 ${Y}$的联合概率质量函数为函数（ ${x}$， ${y}$) $\mapsto$ $\mathbb P$[ ${X}$= ${x}$ $\land{Y}$= ${y}$]
$\qquad$概率分布是绝对连续的，当它包含一个概率密度函数时，这个函数 ${f}$与一个实值随机变量 ${X}$相关联，满足所有 ${a}$， ${b}$ $\in$ $\mathbb P$

$$\mathbb P[{a}\leq{X}\leq{b}]=\int^b_af(x)dx$$

图C.1
二项分布（红色）近似为正态分布（蓝色）。
定义C.2（二项分布）假设一个随机变量 ${X}$服从一个二项分布 ${B}$( ${n}$， ${p}$)， ${n}\in\mathbb N$， ${p}\in$[0，1]，如果对于任意 ${k}\in${1， $\dots$, ${n}$}，

$$\mathbb P[X=k]=(^n_k)p^k(1-p)^{n-k}$$

定义c.3（正态分布）一个随机变量 ${X}$被认为服从正态（或高斯）分布 $N（\mu,\sigma^2）$, $\mu\in\mathbb R$, $\sigma>0$，如果它的概率密度函数是：

$$\ f(x)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp(-\frac{(x-\mu)^2}{2\sigma^2})$$

标准正态分布 $N(0，1)$是具有零均值和单位方差的正态分布。正态分布经常用来近似二项分布。图 $C.1$说明了这个近似。
定义c.4（拉普拉斯分布）一个随机变量 $X$被认为是遵循一个具有 $\mu\in\mathbb R$和尺度参数 $b>0$的拉普拉斯分布，如果它的概率密度函数是：

$$\ f(x)=\frac{1}{2b}\exp(-\frac{\vert x-\mu\vert}{b})$$

定义c.5(Gibbs分布)给定一个集合 $X$和特征函数 $\Phi：X\rightarrow\mathbb R^N$,若对任意 $x\in X$,

$$\mathbb P[X=x]=\frac{\exp(\omega\cdot\Phi(x))}{\sum_{x\in X}\exp(\omega\cdot\Phi(x))}$$

则称随机变量 $X$服从参数 $\omega\in\mathbb R^N$的Gibbs分布。分母 $Z=\sum_{x\in X}\exp(\omega\cdot\Phi(x))$中的归一化量也称为配分函数。
定义c.6(泊松分布)对于任意 $k\in \mathbb N$

$$\mathbb P[X=k]=\frac{\lambda^ke^{-\lambda}}{k!}$$

称随机变量 $X$遵循 $\lambda>0$的泊松分布！下列分布族的定义使用了下一节中定义的随机变量独立性的概念。
定义c.7（ $X^2-平方分布$）具有 $k$自由度的 $X^2$-分布（或卡方分布）是 $k$个独立随机变量的平方和的分布，每个变量都服从变量正态分布。

C.3    条件概率和独立性

定义c.8（条件概率）当 $\mathbb P[B]\neq0$时，给定事件 $B$的条件概率定义为

$$\mathbb P[A\vert B]=\frac{\mathbb P[A\cap B]}{\mathbb P[B]}$$

定义c.9（独立性）如果
$\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\mathbb P[A\cap B]=\mathbb P[A]\mathbb P[B]$
则两个事件 $A和B$是独立的。等价的，当 $\mathbb P\neq0$时， $A和B$是独立的，当且仅当 $\mathbb P[A\vert B]=\mathbb P[A]$当随机变量相互独立并且服从相同的分布时，称一个随机变量序列为独立的同分布。
$\qquad$以下是与条件概率概念有关的基本概念公式。他们为 $A、B和A_{_1},\dots,A_{_n}$所举办的活动，用附加约束 $\mathbb P[B]\neq0$定义Bayes公式：
$\qquad\qquad\qquad\qquad\mathbb P[A\cup B]=\mathbb P[A]+\mathbb P[B]-\mathbb P[A\cap B]$

$$\mathbb P[\bigcup^{n}_{i=1}A_{i}]\le\sum^{n}_{i=1}\mathbb P[A_{i}]$$

$$\mathbb P[A\vert B]=\frac{\mathbb P[B\vert A]\mathbb P[A]}{\mathbb P[B]}$$

$$\mathbb P[\bigcap^n_{i=1}A_{i}]=\mathbb P[A_{1}]\mathbb P[A_{2}\vert A_{1}]\dots\mathbb P[A_{n}\vert\bigcap^{n-1}_{i=1}A_{i}]$$

$\qquad$和规则紧跟在不相交集 $A和(B-A\cap B)$的并集 $（A\cup B）$的分解之后。联合约束是求和规则的直接结果。贝叶斯公式紧跟着条件概率的定义和观察结果: $\mathbb P[A\vert B]\mathbb P[B]=\mathbb P[B\vert A]\mathbb P[A]=\mathbb P[A\cap B]$。同样，链式规则遵循观察 $\mathbb P[A_{1}]\mathbb P[A_{2}\vert A_{1}]=\mathbb P[A_{1}]\cap\mathbb P[A_{2}]$；使用相同的参数递归地显示右边第一个 $k$项的乘积等于 $\mathbb P[\bigcap^{k}_{i=1}A_{i}]$.
$\qquad$最后，假设 $\Omega=A_{1}\cup A_{2}\cup\dots\cup A_{n}$， $A_{i}\cap A_{j}=\phi$， $i\neq j，i.e$,即 $A_{i}s$是相互不相交的。那么，下面的公式对任何事件 $B$都是有效的:

$$\mathbb P[B]=\sum^{n}_{i=1}\mathbb P[B\vert A_{i}]\mathbb P[A_{i}]$$

根据条件概率的定义 $\mathbb P[B\vert A_{i}]\mathbb P[A_{i}]=\mathbb P[B\cap A_{i}]$以及 $B\cap A_{i}$相互不相交的事件。

C.4    期望和马尔可夫不等式

定义c.10(期望值)一个随机变量 $X$的期望值或平均值由 $\mathbb E[X]$表示，由

$$\mathbb E[X]=\sum_{x}x\mathbb P[X=x]$$

当 $X$遵循概率分布 $\mathcal D$时,我们也用 $\mathbb E_{x\in\mathcal X}[x]$来代替 $\mathbb E[X]$来明确表示分布。期望的一个基本性质，用它的定义可以直接证明，就是它是线性的，也就是说，对于任意两个随机变量 $X和Y$，以及任意 $a,b\in\mathbb R$，有以下几点:
$\qquad\qquad\qquad\qquad\mathbb E[aX+bX]=a\mathbb E[X]+b\mathbb E[Y]$
此外，当 $X$和 $Y$是独立的随机变量时，下面的恒等式成立:
$\qquad\qquad\qquad\qquad\mathbb E[XY]=\mathbb E[X]\mathbb E[Y]$
事实上，根据期望和独立的定义，我们可以写出

$$\begin{aligned} \mathbb E[XY]=\sum_{x,y}\mathbb P[X=x\wedge Y=y]&=\sum_{x,y}xy\mathbb P[X=x]\mathbb P[Y=y]\\ &=(\sum_{x}x\mathbb P[X=x])(\sum_{y}y\mathbb P[Y=y]), \end{aligned}$$

在最后一步，我们使用了福比尼定理。下面给出了一个非负随机变量期望的简单界限，称为马尔可夫不等式。
定理c.11(马尔科夫不等式)设 $X$是 $\mathbb E[X]<\infty$的非负随机变量, $t>0$,

$$\mathbb P[X\ge t\mathbb E[X]]\le\frac{1}{t}.$$

证明: 证明步骤如下:

$$\begin{aligned} \mathbb P[X\ge t\mathbb E[X]]&=\sum_{x\ge t\mathbb E[X]}\mathbb P[X=x]\\ &\le\sum_{x\ge t\mathbb E[X]}\mathbb P[X=x]\frac{x}{t\mathbb E[X]}\\ &\le\sum_{x}\mathbb P[X=x]\frac{x}{t\mathbb E[X]}\\ &=\mathbb E[\frac{X}{t\mathbb E[X]}]=\frac{1}{t}\ \ \end{aligned}$$

证明到此为止。

C.5    方差与切比雪夫不等式

定义c.12（方差-标准差）随机变量 $X$的方差用 $Var[X]$表示，定义为
$\qquad\qquad\qquad\qquad\qquad Var[X]=\mathbb E[X-\mathbb E[X]^{2}]$
随机变量 $X$的标准差由 $\sigma X$表示,定义为
$\qquad\qquad\qquad\qquad\qquad\sigma X=\sqrt{Var[X]}$.
对于任意随机变量 $X$和任意 $a\in\mathbb R$，方差的下列基本性质可以直接证明:
$\qquad\qquad\qquad\qquad\qquad Var[X]=\mathbb E[X^2]-\mathbb E[X]^2$
$\qquad\qquad\qquad\qquad\qquad\ Var[aX]=a^2Var[X]$
此外，当 $X和Y$是独立的，那么
$\qquad\qquad\qquad\qquad Var[X+Y]=Var[X]+Var[Y]$
实际上,使用线性期望和身份 $\mathbb E[X]\mathbb E[Y]-\mathbb E[XY]=0$拥有独立的 $X和Y$,我们可以写

$$\begin{aligned} Var[X+Y]&=\mathbb E[(X+Y)^2]-\mathbb E[X+Y]^2\\ &=\mathbb E[X^2+Y^2+2XY]-（\mathbb E[X]^2+\mathbb E[Y]^2+2\mathbb E[XY]）\\ &=(\mathbb E[X^2]-\mathbb E[X]^2)+(\mathbb E[Y^2]-\mathbb E[Y]^2)+2(\mathbb E[X]\mathbb E[Y]-\mathbb E[XY])\\ &=Var[X]+Var[Y]\ \ \end{aligned}$$

$\qquad$下面的不等式被称为切比雪夫不等式，它界定了一个随机变量与其期望值之间的标准差。
定理c.13(切比雪夫不等式)设 $X$是一个随机变量，具有 $Var[X]<+\infty$。对于所有 $t>0$，下列不等式成立:

$$\mathbb P[\vert X-\mathbb E[X]\vert\ge t\sigma_X]\le\frac{1}{t^2}$$

li证明: 观察:
$\qquad\qquad\qquad\mathbb P[\vert X-\mathbb E[X]\vert\ge t\sigma_X]=\mathbb P[X-\mathbb E[X]^2\ge t^2\sigma^2_X]$
通过应用切比雪夫不等式得到 $(X-\mathbb E[X])^2$。我们将用切比雪夫不等式来证明下面的定理。
定理c.14(弱大数定律)设 $(X_n)_{n\in\mathbb N}$是具有相同平均 $\mu$和方差 $\sigma^2<\infty$的独立随机变量序列。
设

$$\overline{X}_n=\frac{1}{n}\sum^{n}_{i=1}X_i$$

则对于 $\varepsilon>0$，

$$\lim_{n\rightarrow\infty}\mathbb P[\vert\overline X_n-\mu\vert\ge\varepsilon]=0$$

证明: 因为变量是独立的，我们可以写

$$Var[\overline X_n]=\sum^{n}_{i=1}Var\left[\frac{X_i}{n}\right]=\frac{n\sigma^2}{n^2}=\frac{\sigma^2}{n}$$

因此，通过切比雪夫不等式( $t=\varepsilon/(Var[\overline X_n])^{1/2}$)得到如下结论:

$$\mathbb P[\vert\overline X_n-\mu\vert\ge\varepsilon]\le\frac{\sigma^2}{n\varepsilon^2}$$

暗示（c.19）
例子c.15(应用切比雪夫的不等式)假设我们掷一对公平骰子 $n$次。我们能估计一下 $n$卷的总价吗？如果我们计算均值和方差，我们发现 $\mu=7n,\sigma^2=35/6n$ (我们让读者去验证这些表达式)。因此，应用切比雪夫不等式，我们可以看到，在至少 $99$%的所有实验中，最终和都在 $7n+10\sqrt{\frac{35}{6}n}$之内。因此，在100万次投掷之后，总和在 $6.975M$到 $7.025M$之间的概率比99:1要好。
定义c.16(协方差)两个随机变量 $X和Y$的协方差用 $Cov(X,Y)$表示，定义为：
$\qquad\qquad\qquad\qquad\qquad Cov(X,Y)=\mathbb E[(X-\mathbb E[X])(Y-\mathbb E[Y])]$
当 $Cov(X,Y=0)$时，两个随机变量 $X和Y$被认为是不相关的。很容易看出，如果两个随机变量 $X和Y$是相互独立的，那么它们是不相关的，但是反之一般不成立。协方差定义了一个正的半定和对称双线性形式:
$Cov(X,Y)=Cov(Y,X)$对任意两个随机变量 $X和Y$;

• 独立性： $Cov(X,Y)=Cov(Y,X)$对任意两个随机变量 $X和Y$;
  
• 双线性： $Cov(X+X^{\prime},Y)=Cov(X,Y)+Cov(X^{\prime},Y),Cov(aX,Y)$对于任何随机变量 $X,X^{\prime},Y以及a\in\mathbb R$;
• 正半有限度： $Cov(X,X)=Var[X]\ge0$对任何随机变量 $X$。下列柯西施瓦茨不等式适用于随机变量 $X和Y$， $Var[X]<+\infty,Var[Y]<+\infty$:
  $\qquad\qquad\qquad\qquad\vert Cov(X,Y)\vert\le\sqrt{Var[X]Var[Y]}$.
  下面的定义。
  定义c.17随机变量向量 $X=(X_1,\dots,X_N)$的协方差矩阵是 $\mathbb R^{N\times N}$中由 $C(X)$表示并被定义为：
  $\qquad\qquad\qquad\qquad C(X)=\mathbb E[(X-\mathbb E[X])(X-\mathbb E[X])^T]$
  因此， $C(X)=(Cov(X_i,X_i))_{ij}$.这很容易证明
  $\qquad\qquad\qquad\qquad C(X)=\mathbb E[XX^T]-\mathbb E[X]\mathbb E[X]^T$.
  我们用下面著名的概率定理来结束这个附录。
  定理c.18(中心极限定理)设 $X_1，\dots，X_n$是一个具有平均 $\mu$和标准差 $\sigma$的 $i.i.d.$随机变量序列。设 $\overline X_n=\frac{1}{n}\sum^{n}_{i=1}X_i,\overline\sigma^2=\overline\sigma^2/n$.然后， $(\overline X_n-\mu)/\overline\sigma_n$收敛于分布中的 $N(0,1)$，即对于任意 $t\in\mathbb R$,
  

$$\lim_{n\rightarrow\infty}\mathbb P[(\overline X_n-\mu)/\overline\sigma_n\le t]=\int^t_{-\infty}\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}dx$$

C.6    矩母函数期望值

$\qquad\mathbb E[X^p]$称为随机变量 $X$的矩阵。随机变量 $X$的矩母函数是一个关键函数，它的不同矩可以通过在零点微分直接计算。因此，它对于指定 $X$的分布或分析其性质是至关重要的。
定义c.19(动差生成函数)一个随机变量 $X$的动差生成函数是在 $t\in\mathbb R$的集合上定义的函数 $M_X:t\rightarrow\mathbb E[e^{tX}]$，其期望是有限的。如果 $M_X$在零是可微的，则 $X$的矩阵由 $\mathbb E[X^p]=M^{(p)}_{X}(0)$给出。我们将在下一章中给出一个关于零平均有界随机变量动差生成函数的一般界(引理 d. 1)。在这里，我们用两个特例来说明它的计算。
例子c.20(标准正态分布)设 $X$是一个随机变量，服从均值为 $0$，方差为 $1$的正态分布。然后，通过认识到最后一个积分是平均 $t$和方差为 $1$的正态分布的概率密度函数，定义了对于所有 $t\in\mathbb R$的 $M_X$为

$$\ M_X(t)=\int^{\infty}_{-\infty}\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}e^{tx}dx=e^{\frac{t^2}{2}}\int^{\infty}_{-\infty}\frac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}(x-t)^2dx}=e^{\frac{t^2}{2}}$$

例子c.21( $X^2$-分布)设 $X$是随机变量，服从 $X^2$-平方分布，自由度为 $k$。我们可以写 $X=\sum^{k}_{i=1}X^2_i$其中 $X$是独立的，并遵循标准的正态分布。让 $t<1/2$。根据 $i.i.d.$对变量 $X_i$的假设，我们可以写

$$\mathbb E[e^{tX}]=\mathbb E\left[\prod^{k}_{i=1}e^{tX^2_i}\right]=\prod^{k}_{i=1}\mathbb E[e^{tX^2_i}]=\mathbb E[e^{tX^2_i}]^k.$$

根据标准正态分布的定义，

$$\begin{aligned} \mathbb E[e^{tX^2_1}]&=\frac{1}{\sqrt{2\pi}}\int^{+\infty}_{-\infty}e^{tx^2}e^{\frac{-x^2}{2}}dx=\frac{1}{\sqrt{2\pi}}\int^{+\infty}_{-\infty}e^{(1-2t)\frac{-x^2}{2}}dx\\ &=\frac{1}{\sqrt{2\pi}}\int^{+\infty}_{-\infty}\frac{e^{-\frac{-\mu^2}{2}}}{\sqrt{1-2t}}du=(1-2t)^{-\frac{1}{2}}, \end{aligned}$$

其中我们使用了 $\mu=\sqrt{1-2t}x.$的变化，由此可见， $X^2$-分布的动差生成函数是
$\qquad\qquad\qquad\qquad\qquad\forall<1/2,M_X(t)=\mathbb E[e^{tX}]=(1-2t)^{-\frac{k}{2}}$

C.7    练习

c.1设 $f:(0,+\infty)\rightarrow\mathbb E_+$是一个允许 $f^{-1}$逆的函数，并设 $X$是一个随机变量。表明，如果为任何 $t>0,\mathbb P[X>t]\le f(t)$，则，对于任意 $\delta>0$，概率至少 $1-\delta,X\le f^{-1}(\delta)$.
c.2设 $X$是一个离散随机变量，取非负整数值。证明 $\mathbb E=\sum_{n\ge1}\mathbb P[X\ge n]$(提示:将 $\mathbb P[X\ge n]-\mathbb P[X\ge n+1]$)。