学习来源：https://www.bilibili.com/video/av36206436/

第四章

4.1.1 离散型变量的数学期望

$P(X=x_k)=P_k，若\sum _{k=1}^{\infty }{x}_k{P}_k绝对收敛，则E_X=\sum _{k=1}^{\infty }{x}_k{P}_k称为期望或均值$

定义中要求积数绝对收敛，保证了积数的和与求和顺序无关

离散型变量可以是无穷多个

4.1.2 连续型变量的数学期望

$随机变量X，密度函数为f(x)，若{\int }_{-\infty }^{+\infty }xf(x)dx绝对收敛，则E_X={\int }_{-\infty }^{+\infty }xf(x)dx称为数学期望$

4.1.3 随机变量函数的数学期望

Y=g(X)

离散：
$E_X=\sum x_i{P}_i$
$E_Y=\sum g(x_i)P_i$
连续：
$E_X={\int }_{-\infty }^{+\infty }xf(x)dx$
$E_Y={\int }_{-\infty }^{+\infty }g(x)f(x)dx$

二维变量函数：
设二维变量( X , Y ) ，求Z = g ( X , Y )的期望
离散：$E_Z=\sum _i\sum _{j}g(x_i,y_i)P_{ij}$
连续：$E_Z={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)dxdy$

4.1.4 数学期望的性质

1. E( C )=C（常数的期望等于常数）
2. E ( X + C ) = E ( X ) + C
3. E ( CX ) = C ⋅ E ( X )
4. E ( kX + b ) = k ⋅ E ( X ) + b
5. $E(X\pm Y)=E(X)\pm E(Y)$
   $E(\sum C_i{X}_i)=\sum C_{i}E(X_i)$
   $E(\frac{1}{n}\sum X_i)=\frac{1}{n}\sum E(X_i)$
6. X Y 独立时，有：E ( XY ) = E ( X ) ⋅ E ( Y )

4.1.5 条件期望

定义：一个变量取某个值的前提下，另一个变量的期望

离散型

$E(X|Y=y_j)=\sum x_{i}P(X=x_i|Y=y_j)$
$E(Y|X=x_i)=\sum y_{j}P(Y=y_j|X=x_i)$

连续型

$E(X\mid Y=y)={\int }_{-\infty }^{+\infty }xf(x|y)dy$
$E(Y|X=x)={\int }_{-\infty }^{+\infty }yf(y|x)dy$

4.2.1 方差

偏离程度

方差：$D(X)=E((X-EX{)}^2)$
标准差：$\sqrt{D(X)}$

1. 离散型：$D(X)=\sum _k(x_k-E(X){)}^2{P}_k$
2. 连续型：$D(X)={\int }_{-\infty }^{+\infty }(x-E(X){)}^{2}f(x)dx$

常用公式：$D(X)=E(X^2)-E(X{)}^2$

4.2.2 方差的性质

1. D( C )=0
2. D ( X + C ) = D ( X )
3. $D(CX)=C^{2}D(X)$
4. $D(kX+b)=k^{2}D(X)$
5. 当 X Y 独立时，$D(X\pm Y)=DX+DY$
   推论：当$X_1,X_2,\cdots ,X_n$独立时，$D(X_1\pm X_2\pm \cdots \pm X_n)=D{X}_1+\cdots +D{X}_n$
6. $D(X)=0⟺P(X=E(X))=1$

标准化：令$X^{\ast }=\frac{X-E(X)}{\sqrt{DX}}$，则一定有：$E(X^{\ast })=0,D(X^{\ast })=1$

4.3.1 常见离散型的期望和方差

$$\begin{array}{cccc}分布& 定义& E(X)& D(X)\\ 0-1分布& P(X=k)=p^k(1-p{)}^{1-k},k=0,1& p& pq\\ 二项分布& P(X=k)=C_n^k{p}^k{q}^{n-k},k=0,1,\cdots ,n& np& npq\\ 几何分布& P(X=k)=(1-p{)}^{k-1}p,k=1,2,\cdots & \frac{1}{p}& \frac{1-p}{p^2}\\ 泊松分布& P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda },k=0,1,\cdots & \lambda & \lambda \\ 均匀分布& f(x)=\{\begin{array}{ll}\frac{1}{b-a}& x\in [a,b]\\ 0& \text{else}\end{array}& \frac{a+b}{2}& \frac{(b-a{)}^2}{12}\\ 指数分布& f(x)=\{\begin{array}{ll}\lambda e^{-\lambda x}& x>0\\ 0& \text{else}\end{array}& \frac{1}{\lambda }& \frac{1}{{\lambda }^2}\\ 正态分布& \varphi (x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{\frac{(x-\mu {)}^2}{2{\sigma }^2}}& \mu & {\sigma }^2\end{array}$$

4.4.1 协方差

定义：$Cov(X,Y)=E[(X-E(X))(Y-E(Y))]$

$Cov(X,Y)=E(XY-XE(Y)-YE(X)+E(X)E(Y))=E(XY)-E(Y)E(X)-E(X)E(Y)+E(X)E(Y)=E(XY)-E(X)E(Y)$
（常用计算公式）

$D(X\pm Y)=D(X)+D(Y)\pm 2Cov(X,Y)$

协方差的性质：

1. $Cov(X,Y)=Cov(Y,X)$
2. $Cov(aX,bY)=ab\cdot Cov(X,Y)$
3. $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$
4. $Cov(C,X)=0$
5. $XY独立时，Cov(X,Y)=0$

$协方差Cov(X,Y)表示XY的关系，受到计量单位的影响$

标准化：
$X^{\ast }=\frac{X-E(X)}{\sqrt{D(X)}}$
$Y^{\ast }=\frac{Y-E(Y)}{\sqrt{D(Y)}}$
$Cov(X^{\ast },Y^{\ast })=E(X^{\ast }{Y}^{\ast })-E(X^{\ast })E(Y^{\ast })=E(\frac{X-E(X)}{\sqrt{D(X)}}\frac{Y-E(Y)}{\sqrt{D(Y)}})=\frac{E[(X-E(X))(Y-E(Y))]}{\sqrt{D(X)}\sqrt{D(Y)}}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}=\rho$

4.4.2 相关系数

$\rho =\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}=\frac{E(XY)-E(X)E(Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$
$与Cov(X,Y)同正同负同0$

性质：$|\rho |\le 1$
引理：$[E(XY){]}^2\le E(X^2)E(Y^2)$（柯西-施瓦兹 不等式）

定理：$|\rho |=1⟺X与Y以P=1成线性关系（即P(Y=aX+b)=1）$

• $\rho =1$，则称 X , Y 完全正相关
• $\rho =-1$，则称 X , Y 完全负相关
• $|\rho |$接近 0 时，表示 X , Y 线性关系弱
• $\rho =0$，X , Y 不存在线性关系

概念区分：
“X , Y 不相关”——指X , Y 线性不相关
“X , Y 独立”——指X , Y 没有任何关系（包括线性、非线性）

• X , Y 独立，则X , Y 不相关
• X , Y 不相关，则X , Y 不一定独立

特例：对于二维正态分布( X , Y )，独立与不相关是等价的

4.5 中心距与原点矩

中心距：$E[(X-E(X){)}^k]（以E(X)为中心）$
原点矩：$E(X^k)=E[(X-0{)}^k]（期望E(X)又称一阶原点矩）$

一阶中心距：E ( X − E ( X ) ) = E ( X ) − E ( X ) = 0
二阶中心距：$E[(X-E(X){)}^2]$，即方差