概率论与数理统计基础知识

期望

期望的性质

期望服从线性运算规则。
\(E(ax+by+c)=aE(x)+bE(y)+c\)

乘积的期望

一般来说，乘积的期望不等于期望的乘积，除非随机变量之间相互独立。例如，若随机变量\(X\)和\(Y\)相互独立，那么有：
\(E(XY)=E(X)E(Y)\)

方差

方差的定义

方差是一种特殊的期望：
\(Var(x)=E((x-E(x))^2)\)

方差的性质

1. 反复利用期望的线性性质，可以得到方差的展开表示：
   \(Var(x)=E(x^2)-(E(x))^2\) (这里E(x)相当于看成是一个常数)
2. 常数的方差为0。
3. 方差不满足线性性质。
   \(Var(ax+by)=a^2Var(x)+b^2Var(y)+2Cov(x,y)\),其中\(Cov(x,y)\)为\(x\)和\(y\)的协方差。
4. 独立变量的方差
   如果\(x\)和\(y\)相互独立，那么有：
   \(Var(ax+by)=a^2Var(x)+b^2Var(y)\)
   特别的，若\(a=1,b=1\)，则有：
   \(Var(x+y)=Var(x)+Var(y)\)

协方差

协方差的定义

两个随机变量的协方差定义为：
\(Cov(x,y)=E((x-E(x))(y-E(y)))\)，因此可以说方差是一种特殊的协方差。若\(x=y\)，则有
\(Cov(x,y)=Var(x)=Var(y)\)

方差的性质

1. 独立变量的协方差为0。
2. 线性组合的协方差：
   \(Cov(a+bx,c+dy)=bdCov(x,y)\)

相关系数

相关系数的定义

\(Corr(x,y)=\frac{Cov(x,y)}{\sqrt{Var(x)Var(y)}}\)

相关系数的性质

1. 有界性
   相关系数的取值范围是-1到1,其可以看作是无量纲的协方差。
2. 相关系数越接近于1，说明两个随机变量的正相关性越强，相关系数越接近0,说明两个随机变量越不相关，相关系数越接近于-1，说明两个随机变量的负相关性越强。

Reference:

1. https://blog.csdn.net/touristman5/article/details/56281887