统计学习（五）：非参数检验

Kolmogorov - Smirnov 检验

Kolmogorov - Smirnov 检验，简称 K-S 检验，检验一个样本是否来自某连续分布(参考分布)。

定义5.1 Kolmogorov - Smirnov 统计量

设样本 $x_1, x_2, \dots, x_n$ 来自某分布 $F$, 经验分布( empirical distribution )为 $F_n$,
称统计量 $D_n=\mathop{sup}\limits_{x} |F_n(x)-F(x)|$ 为 K-S 统计量。其中，
$F_n(x)=\dfrac{1}{n}\sum\limits_{i=1}^n I(x_i \le x)$.
依 Glivenko-Cantelli 定理，如果样本来自总体 $F$, 那么

$$D_n\rightarrow 0,\,\,a.s.\qquad \mbox{当}\, n\rightarrow\infty\,\mbox{时}$$

定义5.2 Brownian Bridge

称一个连续时间的随机过程 $\{ B(t); \, 0\le t \le T\}$ 是一个布朗桥( Brownian ), 如果对
$\forall\, t\in [ 0,\,T ]\qquad B_t \xrightarrow{d}W_t\,|\,W_T=0$,

其中， $w_t,\, t\in [ 0,\, T ]$ 是一个维纳( Wiener Process ), 即布朗运动，也就是，

$W_t\sim N(0,\,t), \,\,\,\mbox{对}\,\forall\,t\ge 0$. 易见， $B(0)=B(T)=0$, 可以证明，

$\qquad B(t)=W(t)-\dfrac{t}{T} W(T), \,\, \mbox{对}\,\forall\, t\in [0,\, T]$.

定义5.3 Kolmogrov 分布

设 $K=\mathop{sup}\limits_{0\le t\le 1} |B(t)|$, 其中 $B(t)$ 是一个布朗桥( Brownian Bridge ),
称累积分布

$$\mathcal{P}(K\le x)=1-2\sum\limits_{k=1}^{\infty}(-1)^{k-1} e^{-2K^2 x^2} =\dfrac{\sqrt{2\pi}}{x}\sum\limits_{k=1}^{\infty}e^{-(2K-1)^2 \pi^2 / 8x^2 }$$
为 K 分布。

定理5.1 在 $H_0$ 下，即样本来自于假设分布 $F(x)$, 有

$$\sqrt{n} D_n \xrightarrow{d}\mathop{sup}\limits_{t} |B(F(t))|,\qquad\mbox{当}\,n\rightarrow\infty\, \mbox{时}$$
这里， $B(t)$ 是一个布朗桥。

推论5.1 如果 $F$ 是连续的，那么 $\sqrt{n}D_n$ 收敛于 K-分布，且不依赖于 $F$

定理5.2 Kolmogorov-Smirnov 检验

给定水平 $\alpha$, 拒绝域 $\{ \sqrt{n}D_n > K_{\alpha} \}$, 其中 $K_{\alpha}$ 为 K-分布的 $\alpha$ 分位点，即 $\mathcal{P}(K\le K_{\alpha})=1-\alpha$.

定理5.3 两样本的 K-S 检验

检验两个样本是否来自同一分布，即检验两个分布是否相同。构造 K-S 统计量

$$D_{n,\,n'}=\mathop{sup}\limits_{x} |F_{1,\,n}(x)-F_{2,\,n'}(x)|$$
$F_{1,\,n}, \, F_{2,\,n}$ 分别是两个容量为 $n,\,n'$ 的样本的经验分布。
给定水平 $\alpha$, 拒绝域 $\{ D_{n,\,n'} > c(\alpha)\sqrt{\dfrac{n+n'}{n n'}} \}$. $c(\alpha)$ 由下表给出：

$\alpha$	0.10	0.05	0.025	0.01	0.005	0.001
$c(\alpha)$	1.22	1.36	1.48	1.63	1.73	1.95

Mann-Whitney U 检验

Mann-Whitney U 检验，也称 Mann-Whitney-Wilcoxon test, Wilcoxon rank-sum test 或 Wilcoxon-Mann-Whitney test, 是一种非参数检验，用来比较两个样本是否来自同一总体，或检验一个总体比另一个总体倾向于有更大的值。不需要假定总体是正态的。

假定与假设的正式表述

(1). 来自两组的所有观测是相互独立的；

(2). 观测是有序的( ordinal );

(3). $H_0:$ 两个总体分布相同, 在 $H_0$ 下， $\mathcal{P}(X>Y)=\mathcal{P}(Y>X)$

(4). $H_1:$ $\mathcal{P}(X>Y)\ne \mathcal{P}(Y>X)$ 双侧检验，或 $H_1:$ $\mathcal{P}(X>Y)>\mathcal{P}(Y>X)$ 单侧检验

计算

• 小样本情况(样本量不超过20)

设样本 $x_1,x_2,\dots,x_{n_1};\,y_1,y_2,\dots,y_{n_2}$ 分别来自两个总体。合并这两个样本并排序(从小到大)，如果样本中有结( ties ), 则结的秩为未排秩的中点( midpoint ). 例如，样本
3, 5, 5, 9, 秩为 1, 2.5, 2.5, 4.

定理5.4 样本1的 $U$ 统计量 $U_1=R_1 - \dfrac{n_1 (n_1+1)}{2}$, $R_1$ 为样本1的秩和；
样本2的 $U$ 统计量 $U_2=R_2 - \dfrac{n_2 (n_2+1)}{2}$, $R_2$ 为样本2的秩和。

$U_1$ 表示在 $(x_i,\,y_j)\,(i=1,2,\dots,n_1; \,j=1,2,\dots,n_2)$ 共 $n_1 n_2$ 个数对中，
$X$ 比 $Y$ 大的个数。同理， $U_2$ 表示 $Y$ 比 $X$ 大的个数。

证明： 记样本 $x_1,x_2,\dots,x_{n_1}$ 的次序统计量 $X_{(1)}\le x_{(2)}\le\dots x_{(n_1)}$,
在混合样本的秩为 $r_1,r_2,\dots,r_{n_1}$, 对应的次序统计量 $r_{(1)}\le r_{(2)}\le\dots r_{(n_1)}$,
则有

$\qquad \#\{ y_i < x_{(1)},\,i=1,2,\dots,n_2 \}=r_{(1)}-1$

$\qquad \#\{ y_i < x_{(2)},\,i=1,2,\dots,n_2 \}=r_{(2)}-2$

$\qquad\qquad\qquad \vdots$

$\qquad \#\{ y_i < x_{(n_1)},\,i=1,2,\dots,n_2 \}=r_{(n_1)}-n_1$

其中， $\#\{\}$ 表示集合 $\{\}$ 中的元素个数，故

$$U_1=\sum\limits_{i=1}^{n_1}r_j-\dfrac{n_1(n_1+1)}{2}=\sum\limits_{i=1}^{n_1}r_{(j)} -\sum\limits_{j=1}^{n_1}j=\sum\limits_{j=1}^{n_1}(r_{(j)}-j)$$ .

取 $U=min\{U_1, U_2\}$, 给定水平 $\alpha$, 拒绝域 $\{ U<u(n_1, n_2, \alpha) \}$,
$u(n_1, n_2, \alpha)$ 为临界值，查表可得。

• 大样本情况
  取 $U=min\{U_1, U_2\}$,
  令 $\mu_{U}=E(U)=\dfrac{n_1 n_2}{2},\,\, \sigma_U=\sqrt{\dfrac{n_1 n_2 (n_1+n_2+1)}{12}}$, 那么

$\qquad Z=\dfrac{U-\mu_U}{\sigma_U}\xrightarrow{d} N(0, 1)$.

如果秩中存在结，则修正标准差 $\sigma_{corr}=\sqrt{\dfrac{n_1 n_2}{12}[(n+1)-\sum\limits_{i=1}^k \dfrac{t_i^3-t_i}{n(n-1)}]}$

其中， $n=n_1+n_2$, $k$ 是不同的秩数，$t_i$ 为共享秩 $i$ 的项数。如果秩中只存在少量的结，则可忽略结。

Wilcoxon 符号秩检验

Wilcoxon 符号秩检验 Wilcoxon signed-rank test 用来比较两个相关的样本，配对样本，或一个样本的重复测量，检验是否它们的总体均值秩改变。

假定

(1). 数据成对，来自同一总体；

(2). 每一对数据随机选择且独立。

检验步骤

设 $(x_{1,\,i},\,x_{2,\,i}),\,i=1,2,\dots,N$ 是配对数据，检验

$\qquad H_0 : \mbox{配对差服从关于0点对称的分布}\qquad H_1 : \mbox{不服从}$

(1).计算 $|x_{2, i}-x_{1, i}|$ 和 $sgn(x_{2, i}-x_{1, i})$, $i=1,2,\dots, N$.

(2). 排除 $|x_{2, i}-x_{1, i}|=0$ 对，设剩余 $N_r$ 个对

(3). 按绝对值差从小到大顺序，排序这 $N_r$ 对

(4). 排序对，结对取经历秩的平均数，记为 $R_i,\,i=1,2,\dots,N_r$

(5). 令检验统计量 $W=\sum\limits_{i=1}^{N_r}|sgn(x_{2, i}-x_{1, i}) R_i|$

(6). 在 $H_0$ 下， $W\sim F$, $\mu=\int x {\rm d}F(x)=0$,

$\sigma^2=\int (x-\mu)^2{\rm d}F(x)=\dfrac{N_r(N-r+1)(2N_r+1)}{6}$

(7). $W\xrightarrow{d} N(0,\,1), \, \mbox{当}\,N_r\rightarrow \infty\,\mbox{时}$.

实际上， 当 $N_r >10$, 令 $Z=\dfrac{W}{\sigma_w},\qquad \sigma_w=\sqrt{\sigma^2}$, 那么，

拒绝 $H_0$, 如果 $|Z|>z_{\frac{\alpha}{2}}$

例子： 配对数据

$i$	$x_{2,\,i}$	$x_{1,\,i}$	$sgn$	$abs$
1	125	110	1	15
2	115	122	-1	7
3	130	125	1	5
4	140	120	1	20
5	140	140	0	0
6	115	124	-1	9
7	140	123	1	17
8	125	137	-1	12
9	140	135	1	5
10	135	145	-1	10

按绝对差排序数据

$i$	$x_{2,\,i}$	$x_{1,\,i}$	$sgn$	$abs$	$r_i$	$sgn\cdot r_i$
5	140	140	0	0
3	130	125	1	5	1.5	1.5
9	140	135	1	5	1.5	1.5
2	115	122	-1	7	3	-3
6	115	124	-1	9	4	-4
10	135	145	-1	10	5	-5
8	125	137	-1	12	6	-6
1	125	110	1	15	7	7
7	140	123	1	17	8	8
4	140	120	1	20	9	9

$N_r= 10-1 =9$, $|W|=|1.5+1.5-3-4-5-6+7+8+9|=9$,

$|W|<W_{\alpha=0.05,\,9,\,\mbox{双侧}}=35$, 故不能拒绝 $H_0$.

阅读更多精彩内容，请关注微信公众号“统计学习与大数据”！