数理统计和参数估计相关概念知识总结

引言

为了系统地复习机器学习相关算法及基础知识，对学过的知识进行一定的整理。

正文

事件的独立性（Independence）

定义：如果事件A和事件B满足 $P(A B)=P(A) P(B)$，则称事件A和事件B独立。举个例子：如果一个人语文考试通过为事件A，数学考试通过为事件B，这两个考试一点关系都没有，互不影响，所以这个人同时通过两科考试的概率就应该等于通过语文考试的概率乘以通过数学考试的概率。

既然A、B是独立的，那么就有 $P(A | B)=P(A)$。过了数学考试，语文考试就稳了吗？不存在的，没有半毛钱关系。

期望（Expectation）

期望就是概率加权平均值，不多扯了，上公式。
离散型： $E(X)=\sum_{i} x_{i} p_{i}$
连续型： $E(X)=\int_{-\infty}^{\infty} x f(x) d x$
对于编程来说，上述两个公式并无差异，在编程时，同样需要对连续的函数离散化。

对于期望，下面两个公式无条件成立
$E(k X)=k E(X)$
$E(X+Y)=E(X)+E(Y)$

如果X,Y独立的话，则有 $E(X Y)=E(X) E(Y)$，但是从 $E(X Y)=E(X) E(Y)$，无法得出A,B独立，只能得到X,Y不相关。独立和不相关的区别，下面会说到。

方差（Varience）

定义： $\operatorname{Var}(X)=E\left\{[X-E(X)]^{2}\right\}=E\left(X^{2}\right)-E^{2}(X)$，反应数据的波动情况。
由于 $\operatorname{Var}(X) \geq 0$，可以得到 $E\left(X^{2}\right) \geq E^{2}(X)$。

对于方差，下述公式无条件成立：
$\operatorname{Var}(c)=0$
$\operatorname{Var}(X+c)=\operatorname{Var}(X)$
$\operatorname{Var}(k X)=k^{2} \operatorname{Var}(X)$
若X,Y独立，则有
$\operatorname{Var}(X+Y)=\operatorname{Var}(X)+\operatorname{Var}(Y)$

协方差（Covarience）

定义： $\operatorname{Cov}(X, Y)=E\{[X-E(X)][Y-E(Y)]\}$
性质：
$\operatorname{Cov}(X, Y)=\operatorname{Cov}(Y, X)$
$\operatorname{Cov}(a X+b, c Y+d)=\operatorname{acCov}(X, Y)$
$\operatorname{Cov}\left(X_{1}+X_{2}, Y\right)=\operatorname{Cov}\left(X_{1}, Y\right)+\operatorname{Cov}\left(X_{2}, Y\right)$
$\operatorname{Cov}(X, Y)=E(X Y)-E(X) E(Y)$

特殊的， 当 $\operatorname{Cov}(X, Y)=0$，则说明X,Y不相关（线性不相关）。
当 $\operatorname{Cov}(X, Y)>0$，则说明X,Y趋势相同。
当 $\operatorname{Cov}(X, Y)<0$，则说明X,Y趋势相反。

协方差的上界定理：
若 $\operatorname{Var}(X)=\sigma_{1}^{2} ，\operatorname{Var}(Y)=\sigma_{2}^{2}$， 则有 $| \operatorname{Cov}(X, Y) \leq \sigma_{1} \sigma_{2}$，当且仅当X,Y有线性关系时，等号成立。

相关系数： $\rho_{X Y}=\frac{\operatorname{Cov}(X, Y)}{\sqrt{\operatorname{Var}(X) \operatorname{Var}(Y)}}≤1$，等于0时，二者不相关，等于1时，二者呈线性关系。

协方差矩阵：对于n个随机向量 $\left(\mathrm{X}_{1}, \mathrm{X}_{2} \ldots \mathrm{X}_{\mathrm{n}}\right)$，任意两个元素 $X_{i}, X_{j}$都可以得到一个协方差，形成一个 $n × n$的矩阵，称为协方差矩阵，为对称阵。每个元素可表示为：
$c_{i j}=E\left\{\left[X_{i}-E\left(X_{i}\right)\right]\left[X_{j}-E\left(X_{j}\right)\right]\right\}=\operatorname{Cov}\left(X_{i}, X_{j}\right)$
协方差矩阵为：
$C=\left[\begin{array}{cccc}{c_{11}} & {c_{12}} & {\cdots} & {c_{1 n}} \\ {c_{21}} & {c_{22}} & {\cdots} & {c_{2 n}} \\ {\vdots} & {\vdots} & {\ddots} & {\vdots} \\ {c_{n 1}} & {c_{n 2}} & {\cdots} & {c_{n n}}\end{array}\right]$

不相关和独立的关系及区别

关系：独立一定不相关，不相关不一定独立。
区别：独立指的是两个事件之间没有半毛钱关系。而不相关仅仅指的是线性不相关（高阶关系不一定），可能会在某些时刻存在着某些非线性关系或者约束关系。

矩的概念

k阶原点矩： $E\left(X^{k}\right)$
k阶中心矩： $E\left\{[X-E(X)]^{k}\right\}$
变异系数：标准差与均值的比值称为变异系数，C.V。
1阶原点矩为期望，2阶中心矩为方差。3阶矩为偏度，四阶矩为峰度。
偏度：概率密度分布的不对称性度量，三阶中心矩与二阶累积量的1.5次方的比例。
$\gamma_{1}=E\left[\left(\frac{X-\mu}{\sigma}\right)^{3}\right]=\frac{E\left[(X-\mu)^{3}\right]}{\left(E\left[(X-\mu)^{2}\right])^{3 / 2}\right.}=\frac{\kappa_{3}}{\kappa_{2}^{3 / 2}}$（三阶中心矩与二阶累积量的1.5次方的比例）
也可以写成： $\gamma_{1}=E\left[\left(\frac{X-\mu}{\sigma}\right)^{3}\right]=\frac{E\left[X^{3}\right]-3 \mu E\left[X^{2}\right]+2 \mu^{2}}{\sigma^{3}}=\frac{E\left[X^{3}\right]-3 \mu \sigma^{2}-\mu^{3}}{\sigma^{3}}$（易于编程）

峰度：在均值处峰值高低的度量，四阶中心矩除以方差的平方。
$\gamma_{2}=\frac{\kappa_{4}}{\kappa_{2}^{2}}=\frac{\mu_{4}}{\sigma^{4}}-3=\frac{\frac{1}{n} \sum_{i=1}^{n}\left(x_{i}-\bar{x}\right)^{4}}{\left(\frac{1}{n} \sum_{i=1}^{n}\left(x_{i}-\bar{x}\right)^{2}\right)^{2}}-3$
减3是为了让正态分布的峰度为0。

超值峰度： $\frac{\mu_{4}}{\sigma^{4}}$ 大于0为尖峰态，小于0为低峰态。

大数定理（Law of Large Numbers）

定义（从期望的角度，当实验的次数足够多，其均值将无限接近于期望）：设随机变量 $\mathrm{X}_{1}, \mathrm{X}_{2} \ldots \mathrm{X}_{\mathrm{n}}$相互独立，并且具有相同的期望 $\mu$和方差 $\sigma^{2}$。做前n个随机变量的平均 $Y_{n}=\frac{1}{n} \sum_{i=1}^{n} X_{i}$，则对于任意正数 $\varepsilon$，有：
$\lim _{n \rightarrow \infty} P\left\{\left|Y_{n}-\mu\right|<\varepsilon\right\}=1$

定义（从概率的角度，当实验次数足够多时，某一事件发生的频率无限接近于概率）：一次试验中事件A发生的概率为p；重复n次独立实验中，事件A发生了 $\mathrm{n}_{\mathrm{A}}$次，对于任意正数 $\varepsilon$，则p、n、 $\mathrm{n}_{\mathrm{A}}$的关系满足
$\lim _{n \rightarrow \infty} P\left\{\left|\frac{n_{A}}{n}-p\right|<\varepsilon\right\}=1$

中心极限定理（Central Limit Theorem）

定义：设随机变量 $\left(\mathrm{X}_{1}, \mathrm{X}_{2} \ldots \mathrm{X}_{\mathrm{n}}\right)$相互独立，服从统一分布，并且具有相同的期望 $\mu$和方差 $\sigma^{2}$，则随机变量 $Y_{n}=\frac{\sum_{i=1}^{n} X_{i}-n \mu}{\sqrt{n} \sigma}$为标准正态分布。
则 $\sum_{i=1}^{n} X_{i}服从正态分布\mathrm{N}\left(\mathrm{n} \mu, \mathrm{n} \sigma^{2}\right)$

样本的统计量

样本均值： $\bar{X}=\frac{1}{n} \sum_{i=1}^{n} X_{i}$

样本方差： $S^{2}=\frac{1}{n-1} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}$（无偏）

样本的矩

k阶样本原点矩： $A_{k}=\frac{1}{n} \sum_{i=1}^{n} X_{i}^{k}$

k阶样本中心矩： $M_{k}=\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{k}$

利用样本矩去估计总体的方差的和均值。由于是根据样本对总体的估计结果，根据记号习惯，写作：
$\left\{\begin{array}{l}{\hat{\mu}=\bar{X}} \\ {\hat{\sigma}^{2}=\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}}\end{array}\right.$

最大似然估计（Maximum Likelihood Estimation, MLE）

从贝叶斯公式开始， $P(A | D)=\frac{P(D | A) P(A)}{P(D)}$
举个简单的例子，假设某一个班级男生打游戏的概率为1/2，女生打游戏的概率为2/3，男女比例为2/1，如果随机找一个打游戏的人，它是男生还是女生？
假设 $w_{1}$为男生， $w_{2}$为女生， $x$为打游戏， $w_{1}$和 $w_{2}$独立。
$p\left(w_{1}\right)=2 / 3, \quad p\left(w_{2}\right)=1 / 3$
$p\left(x | w_{1}\right)=1 / 2, \quad p\left(x | w_{2}\right)=2 / 3$
$p(x)=p\left(x | w_{1}\right) p\left(w_{1}\right)+p\left(x | m_{2}\right) p\left(w_{2}\right)=5 / 9$
根据贝叶斯公式，可以得到：
$P\left(w_{1} | x\right)=\frac{p\left(x | w_{1}\right) p\left(w_{1}\right)}{p(x)}=\frac{1 / 2 \times 2 / 3}{5 / 9}=\frac{3}{5}$
$P\left(w_{2} | x\right)=\frac{p\left(x | w_{2}\right) p\left(w_{2}\right)}{p(x)}=\frac{2 / 3 \times 1 / 3}{5 / 9}=\frac{2}{5}$
因为 $P\left(w_{1} | x\right)$较大，所以我们认为这个人是男生。

假设 $\theta$是固定的待估计的参数， $\left(\mathrm{X}_{1}, \mathrm{X}_{2} \ldots \mathrm{X}_{\mathrm{n}}\right)$为总体采样得到的样本，独立并且同分布，他们的联合概率密度函数（似然函数）为：
$L\left(x_{1}, x_{2}, \cdots, x_{n} ; \theta_{1}, \theta_{2}, \cdots \theta_{k}\right)=\prod_{i=1}^{n} f\left(x_{i} ; \theta_{1}, \theta_{2}, \cdots \theta_{k}\right)$
求参数 $\theta$，使得似然函数取得最大值。
求解步骤：
1.根据样本分布选择合适的分布模型；
2.根据分布模型写出似然函数；
3.为方便计算（求导），对似然函数取对数，对其求导数。
4.求取方程，得最优参数。

偏差

给定数据D，自变量x真实值是 $y(x)$，预测值为 $h_{\theta}(x,D)$，使用平方误差作为目标函数：
$E_{D}\left[y(x)-h_{\theta}(x, D)\right]^{2} =E_{D}\left[\left\{y(x)-E_{D}[y(x)]\right\}^{2}\right)+\left\{E_{D}[y(x)]-h_{\theta}(x, D)\right\}^{2}$
前面一项为方差，后面一项为偏差。