对数学期望、方差、协方差、协方差矩阵的理解

参考《概率论与数理统计》（浙大）

关键词：
数学期望，数学期望的性质，方差，标准差，方差的性质，协方差，相关系数，协方差矩阵

数学期望

变量分布的中心

数学期望也叫期望，或者均值，E(X)完全由X的概率分布决定，若X服从某一分布，也成E(X)是该分布的数学期望。

理解：X的数学期望是E(X)>>指的是多次采样，指标X的平均值是E(X)。

例如：
新生儿健康得分X的数学期望E(X)是7.15——每一次观察新生儿，平均的健康分数是7.15
电子产品的寿命N的数学期望是θ/2——取电子产品观察多次，平均的寿命是θ/2
候车时间的数学期望是27.22min——平均的候车时间是27.22min
家电收费Y的数学期望是2732.15——平均一台家电收费2732.15
…

数学期望的几个重要性质（设以下随机变量的数学期望存在）：

1. 设C是常数，则有

$E(C)=C$

2. 设X是一个随机变量，C是常数，则有 $E(CX)=CE(X)$
3. 设X,Y是两个随机变量，则有 $E(X+Y)=E(X)+E(Y)$可推广到任意有限个变量之和
4. 设X,Y是两个独立的随机变量，则有 $E(XY)=E(X)E(Y)$可推广到任意有限个独立变量之积

方差

变量分布的离散程度

知道了数学期望，也就知道了一批样本中某一指标的均值，方差在此基础上反映的是真实的样本据此均值的偏离程度，方差小，偏离程度就小，这一指标的出现的值就越稳定。

偏离程度的表示没有正负之分，所以用绝对值表示，为了方便起见，通常用平方来代替绝对值，用 $E{[X-E(X)]²}$表示偏离程度，记作D(X)或Var(X)

在应用上取其根号
$\sqrt{D(X)}$
记作
$\sigma(X)$
称为标准差或者方差

扫描二维码关注公众号，回复： 11310314 查看本文章

方差的几个重要性质（设以下随机变量的数学期望存在）：

1. 设C是常数，则 $D(C)=0$
2. 设X是随机变量，C是常数，则有 $D(CX)=C²(X)$
3. 设X,Y是两个随机变量，则有：
   $D(X+Y)=D(X)+D(Y)+2E{[X-E(X)][Y-E(Y)]}$
   特别地，当X和Y相互独立，则有 $D(X+Y)=D(X)+D(Y)$
   这一性质可以推广到任意有限个相互独立的随机变量之和
4. D(X)=0的充要条件是X以概率1取常数E(X)，即 $P{X=E(X)}=1$

协方差

变量之间的相关程度

数学期望和方差都是针对样本中的某一个指标而言的，而对于二维随机变量(X,Y),协方差描述了随机变量X和Y的相互关系。
量: $E{[X-E(X)]²[Y-E(Y)]²}$ 称为样本X和Y的协方差，记作 $Cov(X,Y)$

$\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)} \sqrt{D(Y)}}$
称为随机变量X和Y的相关系数

相关系数也称作线性相关系数，描述随机变量(X,Y)两个分量X,Y之间线性关系之间的紧密程度，相关系数小，线性相关程度差，ρXY=0，说明不相关或存在线性相关之外的关系。X,Y相互独立则X,Y一定不相关，若X,Y不相关则X,Y不一定相互独立。

$Cov(X,Y) = Cov(Y,X)$ $Cov(X,X) = D(X)$

协方差矩阵

包含了方差和协方差的信息

协方差矩阵是一个对称矩阵。
有n维随机变量 $(X1,X2,...,Xm)$其协方差矩阵的主对角线元素为各个元素的方差
其余的第i行第j列元素对应第i个元素和第j个元素的协方差。