数据挖掘中使用到的抽样分布函数

1. 基本概念和定义

抽样分布也称为统计量分布、随机变量函数分布，是指的是样本估计量的分布。样本估计量是样本的一个函数，在统计中称作统计量，因而抽样分布也是指的是统计量的分布。统计推断是直接基于统计量作出的。一般有两种样本抽样：单一样本统计量和两个样本统计量。多个样本的统计量是基于一个样本抽样形成的，所以下面详细介绍这种抽样。

样本均值抽样分布即所有样本的均值可能取值形成的概率分布。假设总体$X$中个体总数(总体大小)为$N$，样本的容量为$n(<N)$并且总体有限均值为$\mu$，方差为${\sigma }^2$，则
$$\mathbb{E}(\bar{X})=\mathbb{E}(\frac{1}{n}\sum _{k=1}^n{X}_k)=\frac{1}{n}\sum _{k=1}^n\mathbb{E}(X_k)=\frac{1}{n}\cdot n\mu =\mu$$

特别地，当样本为有放回时候，则随机变量$X_i$相互独立，因此有
$$\text{var}(\bar{X})=\text{var}(\frac{1}{n}\sum _{k=1}^n{X}_k)=\frac{1}{n^2}\sum _{k=1}^n\text{var}(X_k)=\frac{1}{n^2}\cdot n{\sigma }^2=\frac{{\sigma }^2}{n}$$

如果样本为无放回情况的时候，记总体$X$的取值分别为$a_1,a_2,...,a_N$，由于抽样的随机性质，抽取到任意一个体的概率均为$\frac{1}{N}$，而抽取到任意两个指定个体的概率为$\frac{1}{N(N-1)}$，那么
$$\mu =\mathbb{E}(X)=\frac{1}{N}\sum _{k=1}^N{a}_k=\bar{a}$$

$${\sigma }^2=\text{var}(X)=\mathbb{E}(X-\mu )=\frac{1}{N}\sum _{k=1}^N(a_k-\bar{a}{)}^2$$

对于任意的$1\le i\ne j\le n$则有

$$\begin{gathered} \text{cov}(X_i,X_j)=\mathbb{E}((X_i-\mu )(X_j-\mu )) \\ =\frac{1}{N(N-1)}\sum _{s\ne t}(a_t-\bar{a})(a_t-\bar{a}) \\ =\frac{1}{N(N-1)}\cdot [\sum _{s=1}^N\sum _{s=1}^N(a_t-\bar{a})(a_t-\bar{a})-\sum _{k=1}^N(a_k-\bar{a}{)}^2] \end{gathered}$$

注意，$\sum _{s=1}^N\sum _{s=1}^N(a_t-\bar{a})(a_t-\bar{a})=0$，那么
$$\text{cov}(X_i,X_j)=-\frac{1}{N(N-1)}\sum _{k=1}^N(a_k-\bar{a}{)}^2=-\frac{{\sigma }^2}{N-1}$$

从而得到
$$\begin{gathered} \text{var}(\bar{X})=\frac{1}{n^2}\text{var}(\sum _{k=1}^n{X}_k) \\ =\frac{1}{n^2}[\sum _{k=1}^n\text{var}(X_k)+\sum _{i\ne j}\text{cov}(X_i,X_j)] \\ =\frac{1}{n^2}[n{\sigma }^2-\frac{(n^2-n){\sigma }^2}{N-1}] \\ =\frac{N-n}{N-1}\frac{{\sigma }^2}{n} \end{gathered}$$

由上面的两个公式可以看出来，当$n<<N$的时候，即$n$比$N$小得多的时候，两个式子可以近似处理。

2. 常见的抽样分布函数

最基本的由正态分布函数推导出的抽样分布函数，在统计中有三个重要的分布，即${\chi }^2$分布，$t$分布和$F$分布，下面详细推导这量中分布函数。

2.1 正态抽样分布

正态抽样分布是最基本的抽样函数。假随机变量$X_1,X_2,...,X_n$，是来自于正态总体$N(\mu ,{\sigma }^2)$的样本，并且它们独立同分布、$X_k\sim N(\mu ,{\sigma }^2)$。令$\xi =\frac{1}{n}\sum _{k=1}^n{X}_k$，那么显然根据概率分布函数的定义

F ( x ) = P { ξ ≤ x } = 1 ( 2 π σ ) n ∫ . . . ∫ D e x p ( − ∑ k = 1 n ( x k − μ ) 2 2 σ 2 ) d x 1 . . . d x n F(x)=P\{\xi \leq x\}=\frac{1}{(\sqrt{2\pi}\sigma)^{n}}\int ...\int_{D}exp({-\frac{\sum\limits_{k=1}^{n}(x_{k}-\mu)^{2}}{2\sigma^2}})dx_{1}...dx_{n} F(x)=P{ ξ≤x}=(2π ​σ)n1​∫...∫D​exp(−2σ2k=1∑n​(xk​−μ)2​)dx1​...dxn​

其中，集合 D = { ( x 1 , . . . , x n ∣ x 1 + x 2 + . . . + x n ≤ n x ) } D=\{(x_{1},...,x_{n}|x_{1}+x_{2}+...+x_{n}\leq nx)\} D={ (x1​,...,xn​∣x1​+x2​+...+xn​≤nx)}，后者的积分计算方法如下：
实际上，积分空间$D$指的是超平面$x_1+x_2+...+x_n\le nx$的下方。我们令
$$x_1=u-\sum _{k=2}^n{x}_k$$

那么，后者的积分形式可以写为
$$\begin{gathered} F(x)=\frac{1}{(\sqrt{2\pi }\sigma {)}^n}\int ...{\int }_{D}exp(-\frac{\sum _{k=1}^n(x_k-\mu {)}^2}{2{\sigma }^2})d{x}_1...d{x}_n \\ =\frac{1}{(\sqrt{2\pi }\sigma {)}^n}{\int }_{-\infty }^{+\infty }...{\int }_{-\infty }^{nx-\sum _{k=2}^n{x}_k}exp(-\frac{\sum _{k=1}^n(x_k-\mu {)}^2}{2{\sigma }^2})d{x}_1...d{x}_n \\ =\frac{1}{(\sqrt{2\pi }\sigma {)}^n}{\int }_{-\infty }^{+\infty }...{\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{nx}exp(-\frac{\sum _{k=2}^n(x_k-\mu {)}^2+(u-\sum _{k=2}^n{x}_k-\mu {)}^2}{2{\sigma }^2})dud{x}_2...d{x}_n \\ =\frac{1}{(\sqrt{2\pi }\sigma {)}^n}{\int }_{-\infty }^{nx}...{\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }exp(-\frac{\sum _{k=2}^n(x_k-\mu {)}^2+(u-\sum _{k=2}^n{x}_k-\mu {)}^2}{2{\sigma }^2})d{x}_2...d{x}_{n}du \end{gathered}$$

为方便计算，对于上式中幂指数$exp$中有关项的计算如下：
$$\begin{gathered} z_n=\sum _{k=2}^n(x_k-\mu {)}^2+(u-\sum _{k=2}^n{x}_k-\mu {)}^2 \\ =\sum _{k=2}^n(x_k^2-2\mu x_k+{\mu }^2)+u^2+{\mu }^2+(\sum _{k=2}^n{x}_k{)}^2+2\mu \sum _{k=2}^n{x}_k-2u\sum _{k=2}^n{x}_k-2u\mu \\ =\sum _{k=2}^n{x}_k^2+(\sum _{k=2}^n{x}_k{)}^2-2u\sum _{k=2}^n{x}_k+\sum _{k=2}^n{\mu }^2+u^2+{\mu }^2-2u\mu \\ =\sum _{k=2}^n{x}_k^2+\sum _{k=2}^n\sum _{j=2}^n{x}_k{x}_j-2u\sum _{k=2}^n{x}_k+n{\mu }^2+u^2-2u\mu \\ =2x_2^2+2x_2(\sum _{k=3}^n{x}_k-u)+\sum _{k=3}^n{x}_k^2+\sum _{k=3}^n\sum _{j=3}^n{x}_k{x}_j-2u\sum _{k=3}^n{x}_k+n{\mu }^2+u^2-2u\mu \\ =2(x_2+\frac{\sum _{k=3}^n{x}_k-u}{2}{)}^2-\frac{(\sum _{k=3}^n{x}_k-u{)}^2}{2}+\sum _{k=3}^n{x}_k^2+\sum _{k=3}^n\sum _{j=3}^n{x}_k{x}_j-2u\sum _{k=3}^n{x}_k+n{\mu }^2+u^2-2u\mu \\ =2(x_2+\frac{\sum _{k=3}^n{x}_k-u}{2}{)}^2+\sum _{k=3}^n{x}_k^2+\frac{1}{2}\sum _{k=3}^n\sum _{j=3}^n{x}_k{x}_j-u\sum _{k=3}^n{x}_k+n{\mu }^2+\frac{1}{2}{u}^2-2u\mu \end{gathered}$$
设
$$c(x_2)=2(x_2+\frac{\sum _{k=3}^n{x}_k-u}{2}{)}^2$$

则
$$\begin{gathered} z_n=c(x_2)+\frac{3}{2}{x}_3^2+x_3(\sum _{k=4}^n{x}_k-u)+\sum _{k=4}^n{x}_k^2+\frac{1}{2}\sum _{k=4}^n\sum _{j=4}^n{x}_k{x}_j-u\sum _{k=4}^n{x}_k+n{\mu }^2+\frac{1}{2}{u}^2-2u\mu \\ =c(x_2)+\frac{3}{2}(x_3+\frac{\sum _{k=4}^n{x}_k-u}{3}{)}^2-\frac{1}{6}(\sum _{k=4}^n{x}_k-u{)}^2+\sum _{k=4}^n{x}_k^2+\frac{1}{2}\sum _{k=4}^n\sum _{j=4}^n{x}_k{x}_j-u\sum _{k=4}^n{x}_k+n{\mu }^2+\frac{1}{2}{u}^2-2u\mu \\ =c(x_2)+\frac{3}{2}(x_3+\frac{\sum _{k=4}^n{x}_k-u}{3}{)}^2+\sum _{k=4}^n{x}_k^2+\frac{1}{3}\sum _{k=4}^n\sum _{j=4}^n{x}_k{x}_j-\frac{2}{3}u\sum _{k=4}^n{x}_k+n{\mu }^2+\frac{1}{3}{u}^2-2u\mu \end{gathered}$$

设
$$c(x_3)=\frac{3}{2}(x_3+\frac{\sum _{k=4}^n{x}_k-u}{3}{)}^2$$

则
$$\begin{gathered} z_n=c(x_2)+c(x_3)+\sum _{k=4}^n{x}_k^2+\frac{1}{3}\sum _{k=4}^n\sum _{j=4}^n{x}_k{x}_j-\frac{2}{3}u\sum _{k=4}^n{x}_k+n{\mu }^2+\frac{1}{3}{u}^2-2u\mu \\ =... \\ =c(x_2)+c(x_3)+...+c(x_{s-1})+\sum _{k=s}^n{x}_k^2+\frac{1}{s-1}\sum _{k=s}^n\sum _{j=s}^n{x}_k{x}_j-\frac{2}{s-1}u\sum _{k=s}^n{x}_k+n{\mu }^2+\frac{1}{s-1}{u}^2-2u\mu \\ =... \end{gathered}$$

通过一系列计算，可以得到

$$z_n=\sum _{k=2}^{n}c(x_k)+n{\mu }^2+\frac{u^2}{n}-2u\mu$$

其中

$$c(x_s)=\frac{s}{s-1}(x_s+\frac{\sum _{k=s+1}^n{x}_k-u}{s}{)}^2$$

所以，上述计算过程中积分表达式可以写做

$$F(x)=\frac{1}{(\sqrt{2\pi }\sigma {)}^n}{\int }_{-\infty }^{nx}exp(-\frac{n{\mu }^2+\frac{u^2}{n}-2u\mu }{2{\sigma }^2})du{\int }_{-\infty }^{+\infty }c(x_n)d{x}_n...{\int }_{-\infty }^{+\infty }c(x_2)d{x}_2$$

而
$$\begin{gathered} {\int }_{-\infty }^{+\infty }c(x_s)={\int }_{-\infty }^{+\infty }exp(-\frac{\frac{s}{s-1}(x_s+\frac{\sum _{k=s+1}^n{x}_k-u}{s}{)}^2}{2{\sigma }^2})d{x}_s \\ =\sqrt{2\pi }\sigma \cdot \sqrt{\frac{s-1}{s}} \end{gathered}$$

故而

$$F(x)=\frac{1}{(\sqrt{2\pi }\sigma {)}^n}\cdot (\sqrt{2\pi }\sigma {)}^{n-1}\cdot \sqrt{\frac{n-1}{n}}\cdot ...\cdot \sqrt{\frac{s-1}{s}}\cdot ...\cdot \sqrt{\frac{2-1}{2}}{\int }_{-\infty }^{nx}exp(-\frac{n{\mu }^2+\frac{u^2}{n}-2u\mu }{2{\sigma }^2})du$$

即

$$F(x)=\frac{1}{\sqrt{2\pi n}\sigma }{\int }_{-\infty }^{nx}exp(-\frac{\frac{1}{n}(u-n\mu {)}^2}{2{\sigma }^2})du$$

进行变换之后得到

$$F(x)=\sqrt{\frac{n}{2\pi }}\frac{1}{\sigma }{\int }_{-\infty }^{x}exp(-\frac{n(t-\mu {)}^2}{2{\sigma }^2})dt$$

所以综上所述，$\xi \sim N(\mu ,\frac{{\sigma }^2}{n})$，并且有以下的结论

$$\mathbb{E}(\bar{X})=\mu$$

$$\text{var}(\bar{X})=\frac{{\sigma }^2}{n}$$

2.2 ${\chi }^2$分布

设$n$个互相独立的随机变量$X_1,...,X_n$均服从标准正态分布，则这$n$个服从标准正态分布的随机变量的平方和构成一个新的随机变量$\xi =\sum _{k=1}^n{X}_k^2$，则称变量$\xi$服从参数为$n$的卡方分布，并记做$\xi \sim {\chi }^2(n)$，参数$n$一般称为${\chi }^2$分布的自由度。
其中均值
$$\mathbb{E}(\xi )=\mathbb{E}(\sum _{k=1}^n{X}_k^2)=\sum _{k=1}^n\mathbb{E}(X_k^2)$$

而

$$\mathbb{E}(X_k^2)=\text{var}(X_k)+(\mathbb{E}(X_k){)}^2=1+0^2=1$$

从而得到

$$\mathbb{E}(\xi )=n$$

方差的求法如下所示：
$$\text{var}(\xi )=\mathbb{E}({\xi }^2)-(\mathbb{E}(\xi ){)}^2$$

而

$$\begin{gathered} \mathbb{E}({\xi }^2)=\mathbb{E}((\sum _{k=1}^n{X}_k^2{)}^2) \\ =\mathbb{E}(\sum _{k=1}^n\sum _{j=1}^n{X}_k^2{X}_j^2) \\ =\sum _{k=1}^n\mathbb{E}(X_k^4)+2\sum _{k=1}^n\sum _{j=1}^{k-1}\mathbb{E}(X_k^2)\mathbb{E}(X_j^2) \\ =\sum _{k=1}^n\mathbb{E}(X_k^4)+n(n-1) \end{gathered}$$

$$\mathbb{E}(X_k^4)=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^{+\infty }{x}^4{e}^{-\frac{1}{2}{x}^2}dx=3$$

所以
$$\text{var}(\xi )=3n+n(n-1)-n^2=2n$$

${\chi }^2$分布是具有可加性的。假设${\chi }_1^2\sim {\chi }^2(n)$、${\chi }_2^2\sim {\chi }^2(m)$并且两个随机变量独立，那么根据${\chi }^2$分布的定义可知。
$${\chi }_1^2=\sum _{k=1}^n{X}_k^2$$

$${\chi }_2^2=\sum _{k=1}^m{X}_k^2$$

可见

$${\chi }_1^2+{\chi }_2^2=\sum _{k=1}^{m+n}{X}_k^2$$

显然有下面的结论

$${\chi }_1^2+{\chi }_2^2\sim {\chi }^2(m+n)$$

对于$N$个独立同分布的${\chi }^2$分布随机变量之和的分布也是${\chi }^2$分布。

${\chi }^2$分布的概率分布函数求法如下所示：
我们首先计算 P { ξ < x } P\{\xi< x\} P{ ξ<x}。当$x\le 0$时，显然概率为$0$。当$x>0$时，根据概率分布函数的定义可以得到：
F ( x ) = P { ξ ≤ x } = 1 ( 2 π ) n ∫ . . . ∫ D e x p ( − 1 2 ∑ k = 1 n x k 2 ) d x 1 . . . d x n F(x)=P\{\xi\leq x\}=\frac{1}{(\sqrt{2\pi})^{n}}\int...\int_{D}exp(-\frac{1}{2}\sum\limits_{k=1}^{n}x_{k}^{2})dx_{1}...dx_{n} F(x)=P{ ξ≤x}=(2π ​)n1​∫...∫D​exp(−21​k=1∑n​xk2​)dx1​...dxn​

其中，集合区间$D$表示$n$维空间下的球体 D = { ( x 1 , x 2 , . . . , x n ) ∣ ∑ k = 1 n x k 2 ≤ x } D=\{(x_{1},x_{2},...,x_{n})|\sum\limits_{k=1}^{n}x_{k}^{2}\leq x\} D={ (x1​,x2​,...,xn​)∣k=1∑n​xk2​≤x}，利用球坐标变换公式
$$x_1=r\cos ({\theta }_1)$$

$$x_2=r\sin ({\theta }_1)\cos ({\theta }_2)$$

$$x_3=r\sin ({\theta }_1)\sin ({\theta }_2)\cos ({\theta }_3)$$

$$...$$

$$x_{n-1}=r\sin ({\theta }_1)\sin ({\theta }_2)...\cos ({\theta }_{n-1})$$

$$x_n=r\sin ({\theta }_1)\sin ({\theta }_2)...\sin ({\theta }_{n-1})$$

经过推导，可以得到$\text{Jacobi}$行列式的结果：
$$J=\frac{\partial (x_1,...,x_n)}{\partial ({\theta }_1,...,{\theta }_n)}=r^{n-1}{\sin }^{n-2}({\theta }_1){\sin }^{n-3}({\theta }_2)...{\sin }^2({\theta }_{n-3})\sin ({\theta }_{n-2})$$

从而得到
F ( x ) = P { ξ ≤ x } = 1 ( 2 π ) n ∫ 0 2 π sin ⁡ n − 2 ( θ 1 ) d θ 1 ∫ 0 2 π sin ⁡ n − 3 ( θ 2 ) d θ 2 . . . ∫ 0 2 π sin ⁡ ( θ n − 2 ) d θ n − 2 ∫ 0 x e x p ( − 1 2 r 2 ) r n − 1 d r F(x)=P\{\xi\leq x\}=\frac{1}{(\sqrt{2\pi})^{n}}\int_{0}^{2\pi}\sin^{n-2}(\theta_{1})d\theta_{1}\int_{0}^{2\pi}\sin^{n-3}(\theta_{2})d\theta_{2}...\int_{0}^{2\pi}\sin(\theta_{n-2})d\theta_{n-2}\int_{0}^{\sqrt{x}}exp(-\frac{1}{2}r^{2})r^{n-1}dr F(x)=P{ ξ≤x}=(2π ​)n1​∫02π​sinn−2(θ1​)dθ1​∫02π​sinn−3(θ2​)dθ2​...∫02π​sin(θn−2​)dθn−2​∫0x ​​exp(−21​r2)rn−1dr

当然，上式的求法可以通过Wallis公式可以求出值，这里使用一种较为简单的方法。我们令
$$c_n=\frac{1}{(\sqrt{2\pi }{)}^n}{\int }_0^{2\pi }{\sin }^{n-2}({\theta }_1)d{\theta }_1{\int }_0^{2\pi }{\sin }^{n-3}({\theta }_2)d{\theta }_2...{\int }_0^{2\pi }\sin ({\theta }_{n-2})d{\theta }_{n-2}$$

那么概率分布函数可以化为
$$F(x)=c_n{\int }_0^{\sqrt{x}}{e}^{-\frac{1}{2}{r}^2}{r}^{n-1}dr$$

根据概率分布函数的性质，可以得到
$$\underset{x\to +\infty }{\lim }F(x)=c_n{\int }_0^{+\infty }{e}^{-\frac{1}{2}{r}^2}{r}^{n-1}dr=1$$

再做变换$r=\sqrt{2t},dr=\frac{dt}{\sqrt{2t}}$，那么上式化为

$$c_n{\int }_0^{+\infty }{e}^{-t}\cdot t^{\frac{n-2}{2}}\cdot 2^{\frac{n-2}{2}}dt=1$$

即

$$c_n=\frac{2^{1-\frac{n}{2}}}{{\int }_0^{+\infty }{t}^{\frac{n-2}{2}}{e}^{-t}dt}=\frac{2^{1-\frac{n}{2}}}{\Gamma (\frac{n}{2})}$$

所以得到

$$\begin{gathered} F(x)=\frac{2^{1-\frac{n}{2}}}{\Gamma (\frac{n}{2})}{\int }_0^{\sqrt{x}}{e}^{-\frac{1}{2}{r}^2}{r}^{n-1}dr \\ =\frac{2^{-\frac{n}{2}}}{\Gamma (\frac{n}{2})}{\int }_0^x{e}^{-\frac{1}{2}t}{t}^{\frac{n}{2}-1}dt \end{gathered}$$

综上所述，${\chi }^2$分布概率密度函数为

$$f(x|n)=\{\begin{array}{ll}\frac{2^{-\frac{n}{2}}}{\Gamma (\frac{n}{2})}{e}^{-\frac{1}{2}x}{x}^{\frac{n}{2}-1}& ,\text{ if }x>0\\ 0& ,\text{ if }x\le 0\end{array}$$

${\chi }^2$分布的函数图像如下所示

实际上，${\chi }^2$分布是$\text{Gamma}$分布的一种特殊情况。特别地，若随机变量$X$满足$X\sim {\chi }^2(n)$，那么必然有$X\sim \text{Gam}(\frac{n}{2},\frac{1}{2})$。具体$\text{Gamma}$分布函数可以参考笔者的另一篇博文：深度学习中的一些概率函数分布。

2.3 t分布

若随机变量$X$和$Y$相互独立，并且$X\sim N(0,1),Y\sim {\chi }^2(n)$，称随机变量
$$T=\frac{X}{\sqrt{Y/n}}$$

为自由度为$n$的$t$分布，并记做$T\sim t(n)$。$t$分布概率密度函数推导过程如下所示：
设$t$概率分布函数为$F(t)$，那么根据概率分布函数的定义得到：
F ( t ) = P { T ≤ t } = P { X Y / n ≤ t } = P { X ≤ t ⋅ Y / n } = ∫ − ∞ + ∞ ( ∫ − ∞ t y n f X ( x ) d x ) f Y ( y ) d y = ∫ 0 + ∞ ∫ − ∞ t y n 1 2 π e − 1 2 x 2 ⋅ 2 − n 2 Γ ( n 2 ) ⋅ e − 1 2 y y n 2 − 1 d x d y = 1 2 π ⋅ 2 − n 2 Γ ( n 2 ) ∫ 0 + ∞ ∫ − ∞ t y n e − x 2 + y 2 y n 2 − 1 d x d y F(t)=P\{T\leq{t}\}=P\{\frac{X}{\sqrt{Y/n}}\leq{t}\}=P\{X\leq{t}\cdot{\sqrt{Y/n}}\}\\ =\int_{-\infty}^{+\infty}(\int_{-\infty}^{t\sqrt{\frac{y}{n}}}f_{X}(x)dx)f_{Y}(y)dy\\ =\int_{0}^{+\infty}\int_{-\infty}^{t\sqrt{\frac{y}{n}}}\frac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}x^2}\cdot{\frac{2^{-\frac{n}{2}}}{\Gamma(\frac{n}{2})}}\cdot{e^{-\frac{1}{2}y}y^{\frac{n}{2}-1}}dxdy\\ =\frac{1}{\sqrt{2\pi}}\cdot{\frac{2^{-\frac{n}{2}}}{\Gamma(\frac{n}{2})}}\int_{0}^{+\infty}\int_{-\infty}^{t\sqrt{\frac{y}{n}}}e^{-\frac{x^{2}+y}{2}}y^{\frac{n}{2}-1}dxdy F(t)=P{ T≤t}=P{ Y/n ​X​≤t}=P{ X≤t⋅Y/n ​}=∫−∞+∞​(∫−∞tny​ ​​fX​(x)dx)fY​(y)dy=∫0+∞​∫−∞tny​ ​​2π ​1​e−21​x2⋅Γ(2n​)2−2n​​⋅e−21​yy2n​−1dxdy=2π ​1​⋅Γ(2n​)2−2n​​∫0+∞​∫−∞tny​ ​​e−2x2+y​y2n​−1dxdy

做变换$u=x\sqrt{\frac{n}{y}}$，则$du=\sqrt{\frac{n}{y}}dx,dx=\sqrt{\frac{y}{n}}du$，$x=u\sqrt{\frac{y}{n}}$，所以积分表达式变为

$$\begin{gathered} F(t)=\frac{1}{\sqrt{2\pi }}\cdot \frac{2^{-\frac{n}{2}}}{\Gamma (\frac{n}{2})}{\int }_0^{+\infty }{\int }_{-\infty }^t{e}^{-\frac{y{u}^2+ny}{2n}}{y}^{\frac{n}{2}-1}\sqrt{\frac{y}{n}}dudy \\ =\frac{1}{\sqrt{2\pi n}}\cdot \frac{2^{-\frac{n}{2}}}{\Gamma (\frac{n}{2})}{\int }_0^{+\infty }{\int }_{-\infty }^t{e}^{-\frac{y{u}^2+ny}{2n}}{y}^{\frac{n-1}{2}}dudy \end{gathered}$$

所以，有以下的表达式
$$F(t)=\frac{1}{\sqrt{2\pi n}}\cdot \frac{2^{-\frac{n}{2}}}{\Gamma (\frac{n}{2})}{\int }_{-\infty }^t{\int }_0^{+\infty }{e}^{-\frac{y{u}^2+ny}{2n}}{y}^{\frac{n-1}{2}}dydu$$

从而有
$$f(t)=\frac{dF(t)}{dt}=\frac{1}{\sqrt{2\pi n}}\cdot \frac{2^{-\frac{n}{2}}}{\Gamma (\frac{n}{2})}{\int }_0^{+\infty }{e}^{-\frac{y{t}^2+ny}{2n}}{y}^{\frac{n-1}{2}}dy$$

做变换$z=\frac{t^2+n}{2n}y,y=\frac{2n}{t^2+n}z$，那么$dz=\frac{t^2+n}{2n}dy,dy=\frac{2n}{t^2+n}dz$，所以有

$$\begin{gathered} f(t)=\frac{1}{\sqrt{2\pi n}}\cdot \frac{2^{-\frac{n}{2}}}{\Gamma (\frac{n}{2})}{\int }_0^{+\infty }{e}^{-z}(\frac{2n}{t^2+n}z{)}^{\frac{n-1}{2}}\cdot \frac{2n}{t^2+n}dz \\ =\frac{1}{\sqrt{2\pi n}}\cdot \frac{2^{-\frac{n}{2}}}{\Gamma (\frac{n}{2})}(\frac{2n}{t^2+n}{)}^{\frac{n+1}{2}}{\int }_0^{+\infty }{e}^{-z}{z}^{\frac{n-1}{2}}dz \\ =\frac{1}{\sqrt{2\pi n}}\cdot \frac{2^{-\frac{n}{2}}}{\Gamma (\frac{n}{2})}\cdot (\frac{t^2+n}{2n}{)}^{-\frac{n+1}{2}}\cdot \Gamma (\frac{n+1}{2}) \\ =\frac{\Gamma (\frac{n+1}{2})}{\Gamma (\frac{n}{2})}\cdot \frac{1}{\sqrt{n\pi }}(\frac{t^2}{n}+1{)}^{-\frac{n+1}{2}} \end{gathered}$$

这样我们得到了t分布的表达式

$$\text{Stu}(x|n)=\frac{\Gamma (\frac{n+1}{2})}{\Gamma (\frac{n}{2})}\cdot \frac{1}{\sqrt{n\pi }}(\frac{x^2}{n}+1{)}^{-\frac{n+1}{2}}$$

其中均值和方差的推导如下所示：

由于随机变量$X$和$Y$相互独立，故而$X$和$\sqrt{\frac{n}{Y}}$也是互相独立的，故而
$$\mathbb{E}(T)=E(\frac{X}{\sqrt{Y/n}})=E(X)E(\sqrt{\frac{n}{Y}})=0\cdot E(\sqrt{\frac{n}{Y}})=0$$

$$\begin{gathered} \text{var}(T)=\text{var}(\frac{X}{\sqrt{Y/n}}) \\ =E(\frac{n{X}^2}{Y})-(E(\frac{X}{\sqrt{Y/n}}){)}^2 \\ =nE(X^2)E(\frac{1}{Y}) \end{gathered}$$

$$E(X^2)=\text{var}(X)+(E(X){)}^2=1$$

$$\begin{gathered} E(\frac{1}{Y})=\frac{2^{-\frac{n}{2}}}{\Gamma (\frac{n}{2})}{\int }_0^{+\infty }\frac{1}{x}{e}^{-\frac{1}{2}x}{x}^{\frac{n}{2}-1}dx \\ =\frac{2^{-\frac{n}{2}}}{\Gamma (\frac{n}{2})}{\int }_0^{+\infty }{e}^{-\frac{1}{2}x}{x}^{\frac{n}{2}-2}dx \end{gathered}$$

做变换$z=\frac{x}{2}$，那么$x=2z,dx=2dz$，从而得到

$$\begin{gathered} E(\frac{1}{Y})=\frac{2^{-\frac{n}{2}}}{\Gamma (\frac{n}{2})}{\int }_0^{+\infty }{e}^{-z}(2z{)}^{\frac{n}{2}-2}2dz \\ =\frac{2^{-\frac{n}{2}}}{2\Gamma (\frac{n}{2})}{\int }_0^{+\infty }{e}^{-z}{z}^{\frac{n}{2}-2}dz \\ =\frac{2^{-\frac{n}{2}}}{2\Gamma (\frac{n}{2})}\cdot \Gamma (\frac{n}{2}-1) \end{gathered}$$

而根据Gamma函数的性质可知
$$\Gamma (\frac{n}{2})=(\frac{n}{2}-1)\Gamma (\frac{n}{2}-1)$$

即

$$\frac{\Gamma (\frac{n}{2}-1)}{\Gamma (\frac{n}{2})}=\frac{2}{n-2}$$

所以

$$E(\frac{1}{Y})=\frac{1}{n-2}$$

所以对于t分布的方差为
$$\text{var}(T)=\frac{n}{n-2}$$

t分布概率密度函数图像如下所示：

自由度$n$是决定$t$分布概率密度函数的条件。特别地，当$n\to +\infty$时候，$t$分布近似于正态分布函数。证明如下所示：

$$\begin{gathered} \underset{n\to +\infty }{\lim }\text{Stu}(x|n)=\underset{n\to +\infty }{\lim }\frac{\Gamma (\frac{n+1}{2})}{\Gamma (\frac{n}{2})}\cdot \frac{1}{\sqrt{n\pi }}(\frac{x^2}{n}+1{)}^{-\frac{n+1}{2}} \\ =\underset{n\to +\infty }{\lim }\frac{\Gamma (\frac{n+1}{2})}{\Gamma (\frac{n}{2})}\cdot \frac{1}{\sqrt{n\pi }}\cdot \underset{n\to +\infty }{\lim }(\frac{x^2}{n}+1{)}^{-\frac{n+1}{2}} \end{gathered}$$

其中，

$$\underset{n\to +\infty }{\lim }(\frac{x^2}{n}+1{)}^{-\frac{n+1}{2}}=e^{-\frac{1}{2}{x}^2}$$
对于t分布中的归一化系数
$$I_n=\frac{\Gamma (\frac{n+1}{2})}{\Gamma (\frac{n}{2})}\cdot \frac{1}{\sqrt{n\pi }}$$

极限的计算首先引入两个引理。假设$k$为整数，那么根据Gamma函数的性质可知：

$$\Gamma (k+\frac{1}{2})=(k-\frac{1}{2})\Gamma (k-\frac{1}{2})=...=\frac{(2k-1)!!}{2^k}\Gamma (\frac{1}{2})=\frac{(2k-1)!!}{2^k}\sqrt{\pi }$$

$$\Gamma (k)=(k-1)!\Gamma (1)=(k-1)!$$

以及Wallis公式:
$$\underset{n\to +\infty }{\lim }(\frac{(2k)!!}{(2k-1)!!}{)}^2\frac{1}{2k+1}=\frac{\pi }{2}$$

有了以上的引理，那么$I_n$的极限也就很容易求出来了：
所以当$n$为偶数的时候，不妨设$n=2k$，则
$$\begin{gathered} \underset{k\to +\infty }{\lim }{I}_{2k}=\underset{k\to +\infty }{\lim }\frac{\Gamma (\frac{2k+1}{2})}{\Gamma (\frac{2k}{2})}\cdot \frac{1}{\sqrt{2k\pi }} \\ =\underset{k\to +\infty }{\lim }\frac{\frac{(2k-1)!!}{2^k}\sqrt{\pi }}{(k-1)!}\cdot \frac{1}{\sqrt{2k\pi }} \\ =\underset{k\to +\infty }{\lim }\frac{(2k-1)!!}{(2k)!!}\cdot \frac{\sqrt{2k}}{2} \\ =\underset{k\to +\infty }{\lim }\frac{(2k-1)!!}{(2k)!!}\cdot \sqrt{2k+1}\cdot \frac{\sqrt{2k}}{2\sqrt{2k+1}}=\sqrt{\frac{2}{\pi }}\cdot \frac{1}{2}=\frac{1}{\sqrt{2\pi }} \end{gathered}$$

当$n$为奇数的时候，不妨设$n=2k+1$，则
$$\begin{gathered} \underset{k\to +\infty }{\lim }{I}_{2k+1}=\underset{k\to +\infty }{\lim }\frac{\Gamma (\frac{2k+1+1}{2})}{\Gamma (\frac{2k+1}{2})}\cdot \frac{1}{\sqrt{(2k+1)\pi }} \\ =\frac{k!}{\frac{(2k-1)!!}{2^k}\sqrt{\pi }}\cdot \frac{1}{\sqrt{(2k+1)\pi }} \\ =\underset{k\to +\infty }{\lim }\frac{(2k)!!}{(2k-1)!!}\cdot \frac{1}{\sqrt{2k+1}}\cdot \frac{1}{\pi } \\ =\sqrt{\frac{\pi }{2}}\cdot \frac{1}{\pi }=\frac{1}{\sqrt{2\pi }} \end{gathered}$$

显然
$$\underset{n\to +\infty }{\lim }{I}_n=\underset{k\to +\infty }{\lim }{I}_{2k}=\underset{k\to +\infty }{\lim }{I}_{2k+1}=\frac{1}{\sqrt{2\pi }}$$

故而
$$\underset{n\to +\infty }{\lim }\text{Stu}(x|n)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{1}{2}{x}^2}$$

所以有结论
$$\underset{n\to +\infty }{\lim }\text{Stu}(n)=N(0,1)$$

在笔者的一篇博文深度学习中的一些概率函数分布中提到了一种一般形式的t分布函数：
$$\text{Stu}(x|\mu ,\lambda ,n)=\frac{\Gamma (\frac{n+1}{2})}{\Gamma (\frac{n}{2})}\sqrt{\frac{\lambda }{n\pi }}(1+\frac{\lambda (x-\mu {)}^2}{n}{)}^{-\frac{n+1}{2}}$$

其函数的极限也是正态分布密度函数，其中精度$\lambda ={\sigma }^{-2}$。
$$\underset{n\to +\infty }{\lim }\text{Stu}(x|\mu ,\lambda ,n)=\sqrt{\frac{\lambda }{2\pi }}{e}^{-\frac{\lambda (x-\mu {)}^2}{2}}$$

2.4 F分布

F分布是抽样分布中最为常见的一种分布方式。若总体$X\sim N(0,1)$，其中两个独立样本$X_1,X_2,...,X_n$和$Y_1,Y_2,...,Y_m$为来自总体$X$的样本，设统计量
$$F=\frac{\frac{1}{n}\sum _{k=1}^n{X}_k^2}{\frac{1}{m}\sum _{k=1}^m{Y}_k^2}$$

则定义统计量$F$服从自由度为$n,m$的$F$分布，并且记为$F\sim F(n,m)$。当然，$F$分布的定义可以定义为两个${\chi }^2$分布的随机变量的比值的定义，即
$$F=\frac{\frac{1}{n}{\chi }^2(n)}{\frac{1}{m}{\chi }^2(m)}$$

其中概率密度函数的推导如下所示：
F ( t ) = P { F ≤ t } = P { m n ⋅ X Y ≤ t } F(t)=P\{F\leq{t}\}=P\{\frac{m}{n}\cdot{\frac{X}{Y}}\leq{t}\} F(t)=P{ F≤t}=P{ nm​⋅YX​≤t}

当$t<0$时候，显然
F ( t ) = P { F ≤ t } = 0 F(t)=P\{F\leq{t}\}=0 F(t)=P{ F≤t}=0

当$t\ge 0$时候，那么

F ( t ) = P { F ≤ t } = P { m n ⋅ X Y ≤ t } = P { X ≤ n t m Y } = ∫ − ∞ + ∞ ( ∫ − ∞ n t m y f X ( x ) d x ) f Y ( y ) d y = ∫ 0 + ∞ ∫ 0 n t m y 2 − n 2 Γ ( n 2 ) e − 1 2 x x n 2 − 1 2 − m 2 Γ ( m 2 ) e − 1 2 y y m 2 − 1 d x d y = 2 − n + m 2 Γ ( n 2 ) Γ ( m 2 ) ∫ 0 + ∞ ∫ 0 n t m y e − 1 2 ( x + y ) x n 2 − 1 y m 2 − 1 d x d y F(t)=P\{F\leq{t}\}=P\{\frac{m}{n}\cdot{\frac{X}{Y}}\leq{t}\}\\ =P\{X\leq{\frac{nt}{m}Y}\}\\ =\int_{-\infty}^{+\infty}(\int_{-\infty}^{\frac{nt}{m}y}f_{X}(x)dx)f_{Y}(y)dy\\ =\int_{0}^{+\infty}\int_{0}^{\frac{nt}{m}y}\frac{2^{-\frac{n}{2}}}{\Gamma(\frac{n}{2})}e^{-\frac{1}{2}x}x^{\frac{n}{2}-1}\frac{2^{-\frac{m}{2}}}{\Gamma(\frac{m}{2})}e^{-\frac{1}{2}y}y^{\frac{m}{2}-1}dxdy\\ =\frac{2^{-\frac{n+m}{2}}}{\Gamma(\frac{n}{2})\Gamma(\frac{m}{2})}\int_{0}^{+\infty}\int_{0}^{\frac{nt}{m}y}e^{-\frac{1}{2}(x+y)}x^{\frac{n}{2}-1}y^{\frac{m}{2}-1}dxdy F(t)=P{ F≤t}=P{ nm​⋅YX​≤t}=P{ X≤mnt​Y}=∫−∞+∞​(∫−∞mnt​y​fX​(x)dx)fY​(y)dy=∫0+∞​∫0mnt​y​Γ(2n​)2−2n​​e−21​xx2n​−1Γ(2m​)2−2m​​e−21​yy2m​−1dxdy=Γ(2n​)Γ(2m​)2−2n+m​​∫0+∞​∫0mnt​y​e−21​(x+y)x2n​−1y2m​−1dxdy

现在，令$u=\frac{mx}{ny}$，那么$du=\frac{m}{ny}dx$即$dx=\frac{ny}{m}du$,$x=\frac{ny}{m}u$,故而可以得到
$$\begin{gathered} F(t)=\frac{2^{-\frac{n+m}{2}}}{\Gamma (\frac{n}{2})\Gamma (\frac{m}{2})}{\int }_0^{+\infty }{\int }_0^t\frac{ny}{m}\cdot e^{-\frac{ny}{2m}u}{e}^{-\frac{1}{2}y}(\frac{ny}{m}u{)}^{\frac{n}{2}-1}{y}^{\frac{m}{2}-1}dudy \\ =\frac{2^{-\frac{n+m}{2}}}{\Gamma (\frac{n}{2})\Gamma (\frac{m}{2})}\cdot (\frac{n}{m}{)}^{\frac{n}{2}}{\int }_0^{+\infty }{\int }_0^{t}y\cdot e^{-\frac{ny}{2m}u}\cdot e^{-\frac{1}{2}y}\cdot (yu{)}^{\frac{n}{2}-1}\cdot y^{\frac{m}{2}-1}dudy \\ =\frac{2^{-\frac{n+m}{2}}}{\Gamma (\frac{n}{2})\Gamma (\frac{m}{2})}\cdot (\frac{n}{m}{)}^{\frac{n}{2}}{\int }_0^{+\infty }{\int }_0^t{e}^{-\frac{ny}{2m}u}{e}^{-\frac{1}{2}y}{u}^{\frac{n}{2}-1}{y}^{\frac{m+n}{2}-1}dudy \\ =\frac{2^{-\frac{n+m}{2}}}{\Gamma (\frac{n}{2})\Gamma (\frac{m}{2})}\cdot (\frac{n}{m}{)}^{\frac{n}{2}}{\int }_0^t{\int }_0^{+\infty }{e}^{-\frac{ny}{2m}u}{e}^{-\frac{1}{2}y}{u}^{\frac{n}{2}-1}{y}^{\frac{m+n}{2}-1}dydu \end{gathered}$$

所以
$$\begin{gathered} f(t)=\frac{dF(t)}{dt}= \\ =\frac{2^{-\frac{n+m}{2}}}{\Gamma (\frac{n}{2})\Gamma (\frac{m}{2})}\cdot (\frac{n}{m}{)}^{\frac{n}{2}}{\int }_0^{+\infty }{e}^{-\frac{ny}{2m}t}{e}^{-\frac{1}{2}y}{t}^{\frac{n}{2}-1}{y}^{\frac{m+n}{2}-1}dy \\ =\frac{2^{-\frac{n+m}{2}}}{\Gamma (\frac{n}{2})\Gamma (\frac{m}{2})}\cdot (\frac{n}{m}{)}^{\frac{n}{2}}{t}^{\frac{n}{2}-1}{\int }_0^{+\infty }{e}^{-\frac{nt}{2m}y}{e}^{-\frac{1}{2}y}{y}^{\frac{m+n}{2}-1}dy \\ =\frac{2^{-\frac{n+m}{2}}}{\Gamma (\frac{n}{2})\Gamma (\frac{m}{2})}\cdot (\frac{n}{m}{)}^{\frac{n}{2}}{t}^{\frac{n}{2}-1}{\int }_0^{+\infty }{e}^{-\frac{nt+m}{2m}y}{y}^{\frac{m+n}{2}-1}dy \end{gathered}$$

我们设$z=\frac{nt+m}{2m}y,y=\frac{2m}{nt+m}z$，那么$dy=\frac{2m}{nt+m}dz$，从而得到以下的结果

$$\begin{gathered} f(t)=\frac{2^{-\frac{n+m}{2}}}{\Gamma (\frac{n}{2})\Gamma (\frac{m}{2})}\cdot (\frac{n}{m}{)}^{\frac{n}{2}}{t}^{\frac{n}{2}-1}{\int }_0^{+\infty }{e}^{-\frac{nt+m}{2m}y}{y}^{\frac{m+n}{2}-1}dy \\ =\frac{2^{-\frac{n+m}{2}}}{\Gamma (\frac{n}{2})\Gamma (\frac{m}{2})}\cdot (\frac{n}{m}{)}^{\frac{n}{2}}{t}^{\frac{n}{2}-1}{\int }_0^{+\infty }{e}^{-z}(\frac{2m}{nt+m}z{)}^{\frac{m+n}{2}-1}\frac{2m}{nt+m}dz \\ =\frac{2^{-\frac{n+m}{2}}}{\Gamma (\frac{n}{2})\Gamma (\frac{m}{2})}\cdot (\frac{n}{m}{)}^{\frac{n}{2}}{t}^{\frac{n}{2}-1}(\frac{2m}{nt+m}{)}^{\frac{m+n}{2}}{\int }_0^{+\infty }{e}^{-z}{z}^{\frac{m+n}{2}-1}dz \\ =\frac{2^{-\frac{n+m}{2}}}{\Gamma (\frac{n}{2})\Gamma (\frac{m}{2})}\cdot (\frac{n}{m}{)}^{\frac{n}{2}}{t}^{\frac{n}{2}-1}(\frac{2m}{nt+m}{)}^{\frac{m+n}{2}}\Gamma (\frac{m+n}{2}) \\ =\frac{\Gamma (\frac{m+n}{2})}{\Gamma (\frac{n}{2})\Gamma (\frac{m}{2})}\cdot (\frac{n}{m}{)}^{\frac{n}{2}}{t}^{\frac{n}{2}-1}(\frac{n}{m}t+1{)}^{-\frac{m+n}{2}} \end{gathered}$$

易知，$$\frac{\Gamma (\frac{n}{2})\Gamma (\frac{m}{2})}{\Gamma (\frac{m+n}{2})}=\mathrm{B}(\frac{n}{2},\frac{m}{2})$$

所以，最终求得$F$分布的表达式为

$$F(x|n,m)=\{\begin{array}{ll}\frac{(\frac{n}{m}{)}^{\frac{n}{2}}}{B(\frac{n}{2},\frac{m}{2})}{x}^{\frac{n}{2}-1}(1+\frac{n}{m}x{)}^{-\frac{n+m}{2}}& ,\text{ if }x\ge 0\\ 0& ,\text{ if }x<0\end{array}$$

在$F$分布中，其中的方差和均值为

$$E(F)=E(\frac{m}{n}\cdot \frac{X}{Y})=\frac{m}{n}E(\frac{X}{Y})=\frac{m}{n}E(X)E(\frac{1}{Y})=\frac{m}{n}\cdot n\cdot \frac{1}{m-2}=\frac{m}{m-2}$$

$$\begin{gathered} \text{var}(F)=\text{var}(\frac{m}{n}\cdot \frac{X}{Y}) \\ =\frac{m^2}{n^2}E(\frac{X^2}{Y^2})-(E(\frac{m}{n}\cdot \frac{X}{Y}){)}^2 \end{gathered}$$

其中，$E(\frac{X^2}{Y^2})=E(X^2)E(\frac{1}{Y^2})$，那么可以知道

$$E(X^2)=\text{var}(X)+(E(X){)}^2=2n+n^2$$

$$\begin{gathered} E(\frac{1}{Y^2})=\frac{2^{-\frac{m}{2}}}{\Gamma (\frac{m}{2})}{\int }_0^{+\infty }\frac{1}{x^2}{e}^{-\frac{1}{2}x}{x}^{\frac{m}{2}-1}dx \\ =\frac{2^{-\frac{m}{2}}}{\Gamma (\frac{m}{2})}{\int }_0^{+\infty }{e}^{-\frac{1}{2}x}{x}^{\frac{m}{2}-3}dx \end{gathered}$$

做变换$z=\frac{x}{2}$，则$x=2z,dx=2dz$，于是

$$\begin{gathered} E(\frac{1}{Y^2})=\frac{2^{-\frac{m}{2}}}{\Gamma (\frac{m}{2})}{\int }_0^{+\infty }{e}^{-z}(2z{)}^{\frac{m}{2}-3}2dz \\ =\frac{1}{4\Gamma (\frac{m}{2})}{\int }_0^{+\infty }{e}^{-z}{z}^{\frac{m}{2}-3}dz \\ =\frac{1}{4\Gamma (\frac{m}{2})}\cdot \Gamma (\frac{m}{2}-2) \end{gathered}$$

而
$$\Gamma (\frac{m}{2})=(\frac{m}{2}-1)\Gamma (\frac{m}{2}-1)=(\frac{m}{2}-2)(\frac{m}{2}-1)\Gamma (\frac{m}{2}-2)$$

即

$$\frac{\Gamma (\frac{m}{2}-2)}{\Gamma (\frac{m}{2})}=\frac{4}{(m-2)(m-4)}$$

所以

$$E(\frac{1}{Y^2})=\frac{1}{(m-2)(m-4)}$$

故而
$$\text{var}(F)=\frac{m^2}{n^2}\cdot n(n+2)\cdot \frac{1}{(m-2)(m-4)}-(\frac{m}{m-2}{)}^2=\frac{2m^2(m+n-2)}{n(m-2{)}^2(m-4)}$$

F分布的概率密度函数图像如下所示

3. 应用

这三大概率抽样分布${\chi }^2$分布、t分布和F分布是最重要的分布函数。经过上面的证明和讨论，相信已经对这三种分布函数有了很深的理解。在机器学习和数据挖掘中，我们可以通过使用这三种概率模型对样本数据进行概率推断，然后对一些数据进行预测和模拟。
${\chi }^2$分布主要有两个用途：

1. 用于检验拟合优良程度，检验一组数据与指定曲线的拟合程度，或者检验某组观察值是否符合某种分布情况。
2. 检验两个变量的独立性，通过这个方法检查两个变量之间是否存在某种关联。

一般来说，通过检验统计量$X^2=\sum _{k=1}^n\frac{(O-E{)}^2}{E}$比较期望结果与实际结果的差别之处。
t分布和F分布主要应用于区间估计中。这是从点估计值和抽样标准误差同时出发的，是先给定概率值，然后再简历的包含待估计参数的区间，其中这个给定的概率值被称作置信度或者是置信水平。在参数估计中，对总体进行区间估计的时候，通常考虑到总体是否为正态分布、总方差是否为已知、又或用于构造统计量的样本是否为正态分布等等情况。

小结

本小节介绍了${\chi }^2$分布、t分布以及F分布，这些分布在一些概率推断，尤其是变分推断和贝叶斯推断中有着举足轻重的作用。在接下来的博文中，笔者会介绍一些关于这些概率分布函数的推断以及在程序中的应用等。