3.8 期望、方差与协方差
1.期望
离散型
E ( f ( x ) ) = ∑ x P ( x ) f ( x ) E(f(x)) = \sum_{x} P(x) f(x) E(f(x))=x∑P(x)f(x)
连续型
E ( f ( x ) ) = ∫ p ( x ) f ( x ) d x E(f(x)) = \int p(x) f(x) d x E(f(x))=∫p(x)f(x)dx
2.方差
Var ( f ( x ) ) = E [ ( f ( x ) − E [ f ( x ) ] ) 2 ] \operatorname{Var}(f(x))=E\left[(f(x)-E[f(x)])^{2}\right] Var(f(x))=E[(f(x)−E[f(x)])2]
3.协方差
Cov ( f ( x ) , g ( y ) ) = E [ ( f ( x ) − E [ f ( x ) ] ) ( g ( y ) − E [ g ( y ) ] ) ] \operatorname{Cov}(f(x), g(y))=E[(f(x)-E[f(x)])(g(y)-E[g(y)])] Cov(f(x),g(y))=E[(f(x)−E[f(x)])(g(y)−E[g(y)])]
4.相关系数
ρ X Y = Cov ( X , Y ) σ X σ Y \rho_{X Y}=\frac{\operatorname{Cov}(X, Y)}{\sigma_{X} \sigma_{Y}} ρXY=σXσYCov(X,Y)
5.协方差与相关性的区别
协方差为正，表示两个变量之间存在正相关，不相互独立
协方差为负，表示两个变量之间存在负相关，不相互独立
协方差为0，表示两个变量之间没有线性相关关系，但不代表两个变量没有非线性关系，即仍然可能不相互独立。
如果两个变量不相关，即相互独立，那么协方差一定为0.
协方差不为0，两个变量一定相关
6.实例
题目: x ∼ [ − 1 , 1 ] , s 有 1 2 的概率为1, 1 2 的概率为-1 , y = s x , 求 C o v ( x , y ) \text { 题目: } x \sim[-1,1], s \text { 有 } \frac{1}{2} \text { 的概率为1, } \frac{1}{2} \text { 的概率为-1}, y=s x, \text { 求 } C o v(x, y) 题目: x∼[−1,1],s 有 21 的概率为1, 21 的概率为-1,y=sx, 求 Cov(x,y)
解：
s 与 x 是不相关的, E ( s ) = 0 , E ( x ) = 0 E ( y ) = E ( s x ) = E ( s ) E ( x ) = 0 Cov ( x , y ) = E ( x − E ( x ) ) ( y − E ( y ) ) = E ( x y ) = E ( s x 2 ) = E ( s ) E ( x 2 ) = 0 \begin{array}{l} \mathrm{s} \text { 与 } \mathrm{x} \text { 是不相关的, } E(s)=0, E(x)=0 \\ \\ E(y)=E(s x)=E(s) E(x)=0 \\ \\ \operatorname{Cov}(x, y)=E(x-E(x))(y-E(y)) \\ \\ =E(x y) \\ \\ =E\left(s x^{2}\right) \\ \\ =E(s) E\left(x^{2}\right)=0 \end{array} s 与 x 是不相关的, E(s)=0,E(x)=0E(y)=E(sx)=E(s)E(x)=0Cov(x,y)=E(x−E(x))(y−E(y))=E(xy)=E(sx2)=E(s)E(x2)=0