关于概率论的一些基本知识

概率空间

随机试验是概率论的基本概念，实验的结果实现不能准确的语言，但具有如下三个特性：
（1）可以在相同的条件下重复进行；
（2）每次试验的结果不止一个，但预先知道实验的所有可能的结果；
（3）每次试验前不能确定哪个结果会出现。

随机试验所有可能结果组成的集合被称为这个试验的样本空间或基本事件空间，记为$\Omega$。$\Omega$中的元素e称为样本点或基本事件，$\Omega$的子集事件A称为事件，样本空间$\Omega$称为必然事件，空集$\varnothing$称为不可能事件。

定义1：设$\Omega$是一个集合，F是$\Omega$的某些子集组成的集合族。如果
（1）$\Omega \in F$
（2）若$A\in F$，则 $\tilde{A}=\Omega \backslash A\in F$
（3）若$A_n\in F,n=1,2,...$，则${\cup }_{n=1}^{\infty }{A}_n\in F$
则称F为${\sigma }^{-}$代数（Borel域）。$(\Omega ，F)$为可测空间，F中的元素称为事件。
由定义易知：
（4）$\varnothing \in F$
（5）若A,B$\in$F，则$A\backslash B\in F$
（6）若$A_i\in F,n=1,2,...$，则${\cup }_{i=1}^{\infty }{A}_i$，${\cap }_{i=1}^{\infty }{A}_i$，${\cap }_{i=1}^{\infty }{A}_i\in F$

随机变量及其分布

随机变量是概率论的主要研究对象，随机变量的统计规律用分布函数来描述。

定义4：设$(\Omega ,F,P)$是概率空间，$X=X(e)$是定义在$\Omega$上的实函数，如果对任意实数 x , { e ： X ( e ) ≤ x } x,\{e：X(e) \leq x\} x,{ e：X(e)≤x}，则称$X(e)$是F上的随机变量，简记为随机变量$X$，称
$F(x)=P(e:X(e)\le x),\infty <x<\infty$
为随机变量的分布函数。

分布函数具有以下的性质：
（1）$F(x)$是非降函数，即当$x_1<x_2$时，有$F(x_1)\le F(x_2)$.
（2）$F(-\infty )={\lim }_{x\to -\infty }F(x)=0,F(\infty )={\lim }_{x\to \infty }F(x)=1$.
（3）$F(x)$是右连续的，即$F(x+0)=F(x)$.

离散型速记变量X的概率分布用分布列描述：
$p_k=P(X=x_k),k=1,2,...$
其分布函数
$F(x)={\sum }_{x_k\le x}{p}_k$
连续性随机变量X的概率分布用概率密度$f(x)$描述，其分布函数
$F(x)={\int }_{-\infty }^{x}f(t)dt$

常见的随机变量分布表如下所示：

定义5：设$(\Omega ，F，P)$是概率空间，$X=X(e)=(X_1(e),...X_n(e))$是定义在$\Omega$上的在n维空间$R^n$中取值的向量函数，如果对于任意 x = ( x 1 , x 2 , . . . x n ) ∈ R n , { e : X 1 ( e ) ≤ x 1 , X 2 ≤ x 2 , . . . , X n ( e ) ≤ x n } ∈ F x=(x_1,x_2,...x_n) \in R^{n}, \{ e:X_1(e)\leq x_1,X_2 \leq x_2,...,X_n(e)\leq x_n\} \in F x=(x1​,x2​,...xn​)∈Rn,{ e:X1​(e)≤x1​,X2​≤x2​,...,Xn​(e)≤xn​}∈F，则称$X=X(e)$为n维随机变量或n维随机向量，称
$F(x)=F(x_1,x_2,...x_n)=P(e:X_1(e)\le x_1,X_2\le x_2,...,X_n(e)\le x_n),x-(x_1,x_2,...x_n)\in R^n$
为$X=(X_1,X_2,...X_n)$的联合分布函数。

随机变量的数字特征

随机变量的概率分布完全由其分布函数描述，但是如何确定分布函数却是相当麻烦的。在实际问题中，我们有时只需要知道随机变量的某些特征值就够了。
定义7：设随机变量X的分布函数为$F(x)$，若${\int }_{-\infty }^{\infty }|x|dF(x)<\infty$，则称
$EX={\int }_{-\infty }^{\infty }xdF(x)$
为X的数字期望或均值。上式右边的积分被称为Lebesgue-Stieltjes积分。
若X是离散型随机变量，分布列为
$p_k=P(X=x_k),k=1,2,...$
则
$EX={\sum }_{k=1}^{\infty }{x}_k{p}_k$
若X是连续型随机变量，概率密度为$f(x)$，则
$EX={\int }_{-\infty }^{\infty }xf(x)dx$
随机变量的数学期望是随机变量的取值依概率的平均。

定义8：设X是随机变量，若$E{X}^2<\infty$,则称$DX=E[(X-EX{)}^2]$为X的方差。
随机变量的数学期望是随机变量的取值偏离均值的程度。

定义9：设X,Y是随机变量，$E{X}^2<\infty$,$E{Y}^2<\infty$,则称
$B_{XY}=E[(X-EX)(Y-EY)]$
为X和Y的协方差，称
${\rho }_{XY}=\frac{B_{XY}}{\sqrt{DX}\sqrt{DY}}$
若${\rho }_{XY}$为0则称X和Y不相关，相关系数表示X和Y之间的线性相关程度的大小。

几个需要注意的性质：
（1）$E(aX+bY)=aEX+bEY$，其中a，b是常数;
（2）若X和Y独立，则$E[XY]=EXEY$;
（3）若X和Y独立，则$D(aX+bY)=a^{2}DX+b^{2}DY$，其中a，b是常数

条件期望

设X和Y是离散型随机变量，对给定的y，若 P { Y = y } > 0 P\{Y=y\}>0 P{ Y=y}>0则称
P { X = x ∣ Y = y } = P { X = x , Y = y } P { Y = y } P\{X=x|Y=y\}=\frac{P\{X=x,Y=y\}}{P\{Y=y\}} P{ X=x∣Y=y}=P{ Y=y}P{ X=x,Y=y}​
为给定$Y=y$时X的条件概率

给定$Y=y$时，X的条件分布函数为：
F ( x ∣ y ) = P { x ≤ x ∣ Y = y } , x ∈ R F(x|y)=P\{x \leq x| Y = y\}, x \in R F(x∣y)=P{ x≤x∣Y=y},x∈R

而给定$Y=y$时，X的条件期望为：
E [ X ∣ Y = y ] = ∫ x d F ( x ∣ y ) = ∑ x x P { X = x ∣ Y = y } E[X|Y=y]= \int xdF(x|y)=\sum_{x}xP\{ X=x|Y=y\} E[X∣Y=y]=∫xdF(x∣y)=∑x​xP{ X=x∣Y=y}

若X和Y是连续型随机变量，其联合概率密度为$f(x,y)$，则对一切使$f_Y(y)>0$的y，给定$Y=y$时，X的条件概率密度定义为：
$f(x|y)=\frac{f(x,y)}{f_Y(y)}$

给定$Y=y$时，X的条件分布函数为
F ( x ∣ y ) = P { X ≤ x ∣ Y = y } = ∫ − ∞ x f ( u ∣ y ) d u F(x|y)=P\{X\leq x| Y=y\}=\int^{x}_{-\infty}f(u|y)du F(x∣y)=P{ X≤x∣Y=y}=∫−∞x​f(u∣y)du

给定$Y=y$时，X的条件期望定义为
$E[X|Y=y]=\int xdF(x|y)=\int xf(x|y)$

由此可见，除了概率是关于事件{Y=y}的条件概率外，现在的定义与无条件的情况完全一致。

E[X|Y=y]是y的函数，y是Y的一个可能值。若在已知Y的条件下，全面的考虑X的均值，则需要以Y代替y，则E[X|Y=y]是随机变量Y的函数，也是随机变量，称为X在Y下的条件期望。

性质：
若随机变量X与Y期望存在，则
$EX=E[E(X|Y)]=\int E[X|Y=y]d{F}_Y(y)$
如果Y是离散型随机变量，则该式可以表达为
E X = ∑ y E [ X ∣ Y = y ] P { Y = y } EX=\sum _{y}E[X|Y=y]P\{Y=y\} EX=∑y​E[X∣Y=y]P{ Y=y}
如果Y是连续型随机变量，具有概率密度$f(y)$
$EX={\int }_{-\infty }^{\infty }E[X|Y=y]f(y)dy$