概率论——离散型随机变量

随机变量： 随机变量的定义

离散型随机变量

1 离散型随机变量的定义

  若一个随机变量最多有可数的多个可能取值，则称这个随机变量为离散型的。例如，对于抛两枚骰子的试验，令随机变量为两枚骰子点数之和，则随机变量可取的值即为2到12的每一个可取整数值。对于一个离散型随机变量 $X$，定义 $X$的概率分布列（probability mass function，PMF，又叫概率分布律、概率质量函数） $p(a)$为：
$p(a)=P\{X=a\}$
$p(a)$最多在可数个 $a$上取正值，即，如果随机变量 $X$的可取值为 $x_1,x_2,\cdots$，那么对于每一个 $x_i,i=1,2,\cdots$都有：
$p(x_i) \ge 0$
对于其他的 $x$取值则有：
$p(x) = 0$
并且对于所有的 $X$的可取值有：
$\sum_{i=1}^\infty p(x_i) =1$

2 离散型随机变量的分布函数

  离散型随机变量的累积分布函数（分布函数） $F(a)$可通过 $p(a)$进行计算，根据分布函数的定义可知：
$F(a)=\sum_{x\le a}p(x)$
若 $X$是一个离散型随机变量，其可能的取值为 $x_1,x_2,\cdots$，其中 $x_1 \lt x_2 \lt x_3 \lt \cdots$，则它的分布函数是一个阶梯函数，即在区间 $(x_{i-1}, x_i)$上取常数值，且在 $x_i$处有跳跃，跳跃值为 $p(x_i)$。

3 期望

  概率论中一个非常重要的概念就是随机变量的期望，数学期望（或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和，是最基本的数学特征之一。它反映随机变量平均取值的大小。假设 $X$是一个离散型随机变量，其概率分布列为 $p(x)$，那么 $X$的期望或期望值记为 $E[X]$，定义如下：
$E[X]=\sum_{x:p(x)\gt 0}xp(x)$
$X$的期望值就是 $X$所有可能取值的一个加权平均，每个值的权重就是 $X$取该值的概率。需要注意的是，期望值并不一定等同于常识中的“期望”——“期望值”也许与每一个结果都不相等。期望值是该变量输出值的平均数。期望值并不一定包含于变量的输出值集合里。

4 随机变量函数的期望

  假设已知一个离散型随机变量 $X$的分布列，现在要计算关于 $X$的函数的期望，例如 $g(X)$的期望。 $g(X)$本身也是一个离散型随机变量，它就会有自己的分布列，根据 $X$的分布列和函数 $g(X)$的规则就可以轻易得到 $g(X)$的分布列，然后再按照期望的定义便可计算出 $E[g(X)]$。
  现在换一种理解方式，当 $X=x$时， $g(X)=g(x)$，可以很合理地认为 $E[g(X)]$就是 $g(x)$的一个加权平均，其权重为 $X=x$的概率，这样理解的话，就会有以下结论：如果 $X$是一个离散型随机变量，其可能取值为 $x_i,i\ge 1$，相应的取值概率为 $p(x_i)$，那么对于任一实值函数 $g$，都有：
$E[g(X)]=\sum_{i}g(x_i)p(x_i)$
根据这个结论还可以得到一个简单推论：
$E[aX+b]=aE[X]+b$
  随机变量 $X$的期望 $E[X]$，也称为 $X$的均值（mean）或者一阶矩（first moment）。 $E[X^n](n \ge 1)$称为 $X$的 $n$阶矩。

5 方差

  给定一个随机变量 $X$及其分布函数 $F$，假如我们想要了解 $F$的本质属性，定义合适的度量是及其有用的。期望是一个比较好的度量，它给出了 $X$每个可能取值的加权平均，但是它无法提供关于取值相对于平均值的偏离或离散程度的信息。一种合理 $X$取值离散程度的度量方法是考虑 $X$与 $E[X]$的平均距离，如果 $E[X]=\mu$，则考虑 $E[|X-\mu|]$，但是在数学上处理这种度量是不方便的，更容易处理的度量通常考虑 $X$与其均值距离的平方的期望，因此就有了方差的定义：如果随机变量 $X$的期望为 $\mu$，那么 $X$的方差记为 $Var(X)$，其定义为：
$Var(X)=E[(X-\mu)^2]$
根据前几节的结论可以非常容易地推出方差的另一表达式：
$Var(X)=E[X^2]-(E[X])^2$
在实际应用中，该式是计算方差最简便的方法。另外对于常数 $a$和 $b$，有如下恒等式：
$Var(aX+b)=a^2Var(X)$
该式的推导也十分简单，依旧根据已知的结论进行推导即可。

参考资料：
《概率论基础教程》Sheldon M.Ross
百度百科：数学期望