概率论小结4

版权声明：署名，允许他人基于本文进行创作，且必须基于与原先许可协议相同的许可协议分发本文 （Creative Commons）

随机变量的数字特征

一、数学期望

定义：
1 设离散型随机变量X的分布律为P{X=x_k}=p_k, k=1,2,…。若级数 $\sum\limits_{k=1}^{\infin}x_kp_k$绝对收敛，则称级数 $\sum\limits_{k=1}^{\infin}x_kp_k$的和为随机变量X的数学期望，记为E(X)，即E(X)= $\sum\limits_{k=1}^{\infin}x_kp_k$

2.设连续型随机变量X的概率密度为f(x)，若积分 $\int_{-\infty}^{\infty}xf(x)dx$绝对收敛，则称积分 $\int_{-\infty}^{\infty}xf(x)dx$的值为随机变量X的数学期望，记为E(X)，即E(X)= $\int_{-\infty}^{\infty}xf(x)dx$

数学期望简称期望，又称为均值。

定理：
设Y是随机变量X的函数：Y=g(X)（g是连续函数）。
(i) 如果X是离散型随机变量，它的的分布律为P{X=x_k}=p_k, k=1,2,…，若 $\sum\limits_{k=1}^{\infin}g(x_k)p_k$绝对收敛，则有E(Y)=E[g(X)]= $\sum\limits_{k=1}^{\infin}g(x_k)p_k$.
(ii) 如果X是连续型随机变量，它的的概率密度为f(x)，若 $\int_{-\infty}^{\infty}g(x)f(x)dx$绝对收敛，则有E(Y)=E[g(X)]= $\int_{-\infty}^{\infty}g(x)f(x)dx$.

定理的重要意义在于当我们求E(Y)时，不必计算出Y的分布律或概率密度，而只需利用X的分布律或概率密度就可以了。

性质：
1.设C是常数，则有E(C )=C.
2.设X是一个随机变量，C是常数，则有E(CX)=CE(X).
3.设X，Y是两个随机变量，则有E(X+Y)=E(X)+E(Y). 这一性质可以推广到任意有限个随机变量之和的情况。
4.设X，Y是相互独立的随机变量，则有E(XY)=E(X)E(Y)。这一性质可以推广到任意有限个相互独立的随机变量之积的情况。

二、方差

定义：
设X是一个随机变量，若E{[X-E(X)]²}存在，则称E{[X-E(X)]²}为X的方差 ，记为D(X)或Var(X)，即D(X)=Var(X)=E{[X-E(X)]²}.
在应用上还引入量 $\sqrt{D(X)}$，记为 $\sigma(X)$，称为标准差或均方差。
方差度量了随机变量X与其均值E(X)的偏离程度。刻画了X取值的分散程度。

由定义知，方差是随机变量X的函数g(X)=(X-E(X))²的数学期望，于是
1.对于离散型随机变量，X的分布律为P{X=x_k}=p_k, k=1,2,…，有
D(X)= $\sum\limits_{k=1}^{\infin}[x_k-E(X)]^2p_k$.
2.对于连续型随机变量，X的概率密度为f(x)，有
D(X)= $\int_{-\infty}^{\infty}[x_k-E(X)]^2f(x)dx$.

随机变量X的方差可按下列公式计算： $D(X)=E(X^2)-[E(X)]^2$

性质：
1.设C是常数，则有D(C )=0.
2.设X是一个随机变量，C是常数，则有D(CX)=C²D(X)，D(X+C)=D(X).
3.设X，Y是两个随机变量，则有D(X+Y)=D(X)+D(Y)+2E{(X-E(X))(Y-E(Y))}.
特别，若X，Y相互独立，则有D(X+Y)=D(X)+D(Y).这一性质可以推广到任意有限多个相互独立的随机变量之和的情况。
4.D(X)=0的充要条件是X以概率1取常数E(X)，即P{X=E(X)}=1.

几个重要分布的均值与方差：
1.泊松分布
设随机变量X~ $\pi$( $\lambda$)，E(X)= $\lambda$，D(X)= $\lambda$.
2.二项分布
设随机变量X~b(n,p)，E(X)=np，D(X)=np(1-p).
3.均匀分布
设随机变量X~U(a,b)，E(X)= $\frac{a+b}{2}$，D(X)= $\frac{(b-a)^2}{12}$.
4.指数分布
设随机变量X服从指数分布，E(X)= $\theta$，D(X)= $\theta^2$
5.正态分布
设随机变量X~N( $\mu$, $\sigma^2$)，，E(X)= $\mu$，D(X)= $\sigma^2$.

扫描二维码关注公众号，回复： 6506452 查看本文章

切比雪夫不等式：
设随机变量X具有数学期望E(X)= $\mu$，方差D(X)= $\sigma^2$，则对于任意正数 $\varepsilon$，不等式
$P\{|X-\mu|\geqslant\varepsilon\}\leqslant\dfrac{\sigma^2}{\varepsilon^2}$成立.
或 $P\{|X-\mu|<\varepsilon\}\geqslant 1-\dfrac{\sigma^2}{\varepsilon^2}$
切比雪夫不等式给出了在随机变量的分布未知，而只知道E(X)和D(X)的情况下估计概率 $P\{|X-E(X)|<\varepsilon\}$的界限。

三、协方差及相关系数

定义：
量E{(X-E(X))(Y-E(Y))}称为随机变量X与Y的协方差，记为Cov(X，Y)，即Cov(X，Y)=E{(X-E(X))(Y-E(Y))}.而 $\rho_{XY}=\dfrac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$称为随机变量X与Y的相关系数。

由定义即知，Cov(X，Y)=Cov(Y，X)，Cov(X，X)=D(X).
对于任意两个随机变量X和Y，D(X+Y)=D(X)+D(Y)+2Cov(X，Y).
Cov(X，Y)的定义式展开得Cov(X，Y)=E(XY)-E(X)E(Y).

协方差性质：
1.Cov(aX，bY)=abCov(X，Y)，a，b是常数。
2.Cov(X₁+X₂，Y)=Cov(X₁，Y)+Cov(X₂，Y)

相关系数性质：
1. $|\rho_{XY}|\leqslant1$
2. $|\rho_{XY}|=1$的充要条件是，存在常数a，b使P{Y=a+bX}=1

$\rho_{XY}$是一个可以用来表征X，Y之间线性关系紧密程度的量。当X，Y相互独立时，Cov(X，Y)=0，从而 $\rho_{XY}$=0，即X，Y不相关；反之，X，Y不相关，X和Y不一定相互独立。不相关只是就线性关系来说的，而相互独立是就一般关系而言的。
不过，当(X，Y)服从二维正态分布时，X和Y不相关与X和Y相互独立是等价的。

四、矩、协方差矩阵

矩：
设X和Y是随机变量，若E(X^k), k=1,2,…，存在，称它为X的k阶原点矩，简称k阶矩。
若E{[X-E(X)]^k}, k=1,2,…，存在，称它为X的k阶中心矩。
若E(X^kY^l), k,l=1,2,…，存在，称它为X和Y的k+l阶混合矩。
若E{[X-E(X)]^k [(Y-E(Y)]^l}, k,l=1,2,…，存在，称它为X和Y的k+l阶混合中心矩。

协方差矩阵：
设n维随机变量(X₁, X₂, …, X_n)的二阶混合中心距 $c_{ij}=Cov(X_i,X_j)=E\{[X_i-E(X_i)][X_j-E(X_j)]\}, i,j=1,2,...,n$都存在，则称矩阵
$C=\begin{pmatrix} c_{11} & c_{12} &...& c_{1n}\\ c_{21} & c_{22} &...& c_{2n}\\ \vdots & \vdots &...& \vdots\\ c_{n1} & c_{n2} &...& c_{nn} \end{pmatrix}$
为n维随机变量(X₁, X₂, …, X_n)的协方差矩阵。协方差矩阵是一个对称的矩阵。

n维正态随机变量：
n维正态随机变量(X₁, X₂, …, X_n)的概率密度定义为：
$f(x_1,x_2,...,x_n)=\dfrac{1}{(2\pi)^{n/2}(detC)^{1/2}}exp\{-\dfrac{1}{2}(X-\mu)^TC^{-1}(X-\mu)\}$, 其中C是(X₁, X₂, …, X_n)的协方差矩阵。 $X=\begin{pmatrix}x_1\\x_2\\\vdots\\x_n\end{pmatrix}$， $\mu=\begin{pmatrix}\mu_1\\\mu_2\\\vdots\\\mu_n\end{pmatrix}=\begin{pmatrix}E(X_1)\\E(X_2)\\\vdots\\E(X_n)\end{pmatrix}$

n维正态随机变量的性质：
1.n维正态随机变量(X₁, X₂, …, X_n)的每一个分量X_i, i=1,2,…,n都是正态随机变量；反之，若**X₁, X₂, …, X_n**都是正态随机变量，且相互独立，则(X₁, X₂, …, X_n)是n维正态随机变量。

2.n维随机变量(X₁, X₂, …, X_n)服从n维正态分布的充要条件是**X₁, X₂, …, X_n**的任意线性组合l₁X₁+l₂X₂+ …+ l_n**X_n**服从一维正态分布（其中l₁, l₂, …, l_n不全为零）。

3.若(X₁, X₂, …, X_n)服从n维正态分布，设Y₁, Y₂, …, Y_k是X_j (j=1,2,…,n)的线性函数，则(Y₁, Y₂, …, Y_k)也服从多维正态分布。（正态变量的线性变换不变性）。

4.设(X₁, X₂, …, X_n)服从n维正态分布，则“X₁, X₂, …, X_n 相互独立”与“X₁, X₂, …, X_n 两两不相关”是等价的。