参考：《深度学习500问》
期望
在概率论和统计学中，数学期望（或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和。它反映随机变量平均取值的大小。
- 线性运算： \(E(ax+by+c) = aE(x)+bE(y)+c\)
- 推广形式： \(E(\sum_{k=1}^{n}{a_ix_i+c}) = \sum_{k=1}^{n}{a_iE(x_i)+c}\)
- 函数期望：设\(f(x)\)为\(x\)的函数，则\(f(x)\)的期望为
- 离散函数： \(E(f(x))=\sum_{k=1}^{n}{f(x_k)P(x_k)}\)
- 连续函数： \(E(f(x))=\int_{-\infty}^{+\infty}{f(x)p(x)dx}\)
注意：
- 函数的期望不等于期望的函数，即\(E(f(x))=f(E(x))\)
- 一般情况下，乘积的期望不等于期望的乘积。
- 如果\(X\)和\(Y\)相互独立，则\(E(xy)=E(x)E(y)\)。
方差
概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。方差是一种特殊的期望。定义为：
\[ Var(x) = E((x-E(x))^2) \]
方差性质：
1）\(Var(x) = E(x^2) -E(x)^2\)
2）常数的方差为0;
3）方差不满足线性性质;
4）如果\(X\)和\(Y\)相互独立, \(Var(ax+by)=a^2Var(x)+b^2Var(y)\)
协方差
协方差是衡量两个变量线性相关性强度及变量尺度。 两个随机变量的协方差定义为：
\[ Cov(x,y)=E((x-E(x))(y-E(y))) \]
方差是一种特殊的协方差。当\(X=Y\)时，\(Cov(x,y)=Var(x)=Var(y)\)。
协方差性质：
1）独立变量的协方差为0。
2）协方差计算公式：
\[ Cov(\sum_{i=1}^{m}{a_ix_i}, \sum_{j=1}^{m}{b_jy_j}) = \sum_{i=1}^{m} \sum_{j=1}^{m}{a_ib_jCov(x_iy_i)} \]
3）特殊情况：
\[ Cov(a+bx, c+dy) = bdCov(x, y) \]
相关系数
相关系数是研究变量之间线性相关程度的量。两个随机变量的相关系数定义为：
\[ Corr(x,y) = \frac{Cov(x,y)}{\sqrt{Var(x)Var(y)}} \]
相关系数的性质：
1）有界性。相关系数的取值范围是 ，可以看成无量纲的协方差。
2）值越接近1，说明两个变量正相关性（线性）越强。越接近-1，说明负相关性越强，当为0时，表示两个变量没有相关性。