概率论与数理统计：数字特征

1、数学期望

离散型数据

设随机变量 $X$只取得有限个可能值 $a_1,\cdots,a_m$，其概率分布为 $P(X=a_i)=p_i,\quad (i=1,\cdots,m)$，则 $X$的数学期望，即
$E(X)^*=EX=a_1p_1+a_2p_2+\cdots a_mp_m$
一般理解为以概率为权的加权平均。

$N$次试验中 $X$的取值，记为
$\begin{aligned} \bar X &=(a_1N_1+a_2N_2+\cdots+a_mN_m)/N \\ &=a_1(N_1/N) + a_2(N_2/N) + \cdots + a_m(N_m/N) \end{aligned}$

其中 $N_i/N$是事件 ${X=a_i}$在 $N$次试验中的频率，当 $N$很大时 $N_i/N$接近 $p_i$， $X$的数学期望 $E(X)$，可认为在大量试验之下 $X$在各次试验中取值的平均。

连续型数据

设 $X$有概率密度函数 $f(x)$，如果
$\int_{-\infin}^{\infin}|x|f(x)dx \leq \infin$
则称
$E(x)=\int_{-\infin}^{\infin}xf(x)dx$
为 $X$的数学期望（由 $E(X') \approx \sum_i x_i f(x_i) \Delta x_i$推导而来）。

常见分布的数学期望

（1）设 $X$服从泊松分布 $X \sim P(\lambda)$，则
$E(X)=\sum_{i=0}^\infin i \frac{\lambda^i}{i!}e^{-\lambda}=\lambda e^{-\lambda} \sum_{i=1}^\infin \frac{\lambda^{i-1}}{(i-1)!}=\lambda e^{-\lambda} \sum_{i=0}^\infin \frac{\lambda^i}{i!}=\lambda$

（2）设 $X$服从 $[a,b]$区间的均匀分布，则
$E(X)=\frac{1}{b-a}\int_a^bxdx=\frac{1}{2}(a+b)$

（3）若 $X$服从指数分布，则
$E(X)=\lambda \int_0^\infin xe^{-\lambda x}dx=\lambda^{-1}\int_0^\infin xe^{-x}dx=\lambda^{-1}\Gamma(2)=\lambda^{-1}$

（4）设 $X$服从正太分布 $N(\mu, \sigma^2)$，则
$E(X)=\frac{1}{\sqrt{2\pi}\sigma}\int_{-\infin}^\infin xe^{\large -\frac{(x-u)^2}{2\sigma^2}}dx$

$\quad$令 $x=\mu + \sigma t$，则由对称性容易推得
$E(X)=\frac{1}{\sqrt{2\pi}}\int_{-\infin}^\infin (\mu + \sigma t)e^{-t^2/2}dt=u$

数学期望性质

（1）若干个随机变量之和的期望等于各变量的期望之和，即
$E(X_1+X_2+\cdots+X_n)=E(X_1)+E(X_2)+\cdots+E(X_n)$

（2）若干个独立随机变量之积的期望等于各变量的期望之和，即
$E(X_1X_2\cdots X_n)=E(X_1)E(X_2) \cdots E(X_n)$

（3）设随机变量 $X$为离散型，有分布 $P(X=a_i)=p_i\,(i=1,2,\cdots)$;或者为连续型，有概率密度函数 $f(x)$，则
$E(g(X))=\sum_i g(a_i)p_i \quad 或 \quad E(g(X))=\int_{-\infin}^\infin g(x)f(x)dx$

$\quad\quad$特殊情况下，若 $c$为常数，则 $E(cX)=cE(X)$

（4）设连续型随机变量 $X$的分布函数为 $F(x)$，则满足条件
$P(X \leq m)=F(m)=1/2$

的数 $m$称为 $X$或分布 $F$的中位数。

2、方差与矩

方差

设 $X$为随机变量，分布为 $F$，则
$Var(X)=E(X-EX)^2=E(X^2)-(EX)^2$

称为 $X$(或分布 $F$)的方差，其平方根 $\sqrt{Var(X)}$称为 $X$(或分布 $F$)的标准差。

性质:
$\quad1^。$常数的方差为0；

$\quad2^。$若 $c$为常数，则 $Var(X+c)=Var(X)$；

$\quad3^。$若 $c$为常数，则 $Var(cX)=c^2Var(X)$；

如对于随机变量 $X=\{1,2,3\}$，均值 $\bar X=2$，则方差
$S^2=\frac{(1-2)^2+(2-2)^2+(3-2)^2}{3}$

可视为 $\{1,2,3\}$发生的概率均为 $1/3$。

矩

设 $X$为随机变量， $c$为常数， $k$为正整数，则量 $E[(X-c)^k]$称为 $X$关于 $c$点的 $k$阶矩。

（1） $c=0$，此时 $\alpha_k=E(X^k)$称为 $X$的 $k$阶原点矩；

（2） $c=E(X)$，此时 $\mu=E[(X-EX)^k]$称为 $X$的k阶中心矩；

即一阶原点矩就是期望，二阶中心矩就是方差。

协方差

$Cov(X,Y)=E[(X-E(X))(Y-E(Y))]=E(XY)-E(X)E(Y)$
性质：
$\quad\quad1^。$若 $X$， $Y$独立，则 $Cov(X,Y)=0$；

$\quad\quad2^。$ $Cov^2(X,Y) \leq \sigma_1^2 \sigma_2^2$，当前仅当 $X$， $Y$有严格线形关系时，等号成立(即 $Y=a+bX$)；

证明： 考虑下式
$E[t(X-E(X))+(Y-E(Y))]^2=\sigma_1^2t^2+2Cov(X,Y)t+\sigma_2^2$

$\quad$显然上式对于所有的 $t$均成立，由一元二次方程大于零，知系数满足
$\sigma_1^2\sigma_2^2 \geq Cov^2(X,Y)$

$\quad$若上式等号成立，则有
$\sigma_1^2t^2+2Cov(X,Y)t+\sigma_2^2=(t\sigma_1+\sigma_2)^2=0$

$\quad$故 $t_0=-\sigma_2/\sigma_1$时，等式成立。由于 $E^2(Z)$的非负性，知性质2得证，即
$t(X-E(X))+(Y-E(Y))=0$

相关系数

$Corr(X,Y)=Cov(X,Y)/(\sigma_1 \sigma_2)$
性质：
$\quad\quad1^。$若 $X$， $Y$独立，则 $Corr(X,Y)=0$；

$\quad\quad2^。$ $|Corr(X,Y)| \leq 1$，当且仅当 $X$， $Y$有严格线形关系时等式成立；

相关系数常称为"线形相关系数"，相关系数只是反映了 $X$， $Y$的"线性"相关程度；对于非线性关系， $|Corr(X,Y)|$的值不定。

如设 $X\sim R(-1/2,1/2)$，即区间 $[-1/2,1/2]$内的均匀分布，而 $Y=cos(X)$，由于 $E(X)=0$知
$Cov(X,Y)=E(XY)=E(Xcos(X))=\int_{-1/2}^{1/2}xcosxdx=0$

$X$， $Y$有严格的函数关系（非线性），但其协方差为0。