统计学习（四）：多重检验与控制程序

多重检验

多重检验( Multiple Testing )也称多重比较( Multiple Comparisons ), 即同时检验多个假设。假设有 m 个检验，记为 $H_1, H_2, \dots, H_m$. 称检验是显著的( significant ), 如果拒绝零假设；否则，称检验是不显著的( non-significant ). 下表定义不同类型的错误：

/	零假设为真	备择假设为真	总计
significant	$V$	$S$	$R$
non-significant	$U$	$T$	$m-R$
总计	$m_0$	$m-m_0$	$m$

其中， $m$ 是检验个数， $m_0$ 是真的零假设个数(未知参数)，$m-m_0$ 是真的备择假设个数。$V$ 是假阳性( false positives, Type I error )数，也称假发现( false discoveries )。$S$ 是真阳性( true positives )数，也称真发现。$U$ 是真阴性( true negatives )数， $T$ 是假阴性( false negatives, Type II error )数。$R=V+S$ 是拒绝零假设的个数，也称发现( discoveries ). 在$m$ 个检验中， $m_0$ 是真的零假设数，$R$ 是可观测的随机变量， $S, T, U, V$ 不可观测。

例子: 一个人声称某硬币质地不均匀，如果扔10次结果至少有9次正面朝上。检验

$$H_0 : \,\, \mbox{硬币均匀}\qquad H_1 : \,\, \mbox{硬币不均匀}$$

$\mathcal{P}_{H_0}(\mbox{扔10次结果至少有9次正面朝上})= \binom{10}{9} (\frac{1}{2})^9 \frac{1}{2}+ \binom{10}{10}(\frac{1}{2})^{10}=0.0107$, 在 $\alpha=0.05$ 水平下，拒绝 $H_0$, 即该硬币是不均匀的。
下面检验多枚硬币的均匀性，不妨设100枚硬币。一个均匀硬币掷10次至少出现9次正面的概率是0.0107, 那么100枚硬币被认为是均匀的概率为 $(1-0.0107)^{100}\approx 0.34$. 因此，单个检验的均匀准则应用于多个检验时，更可能假发现至少一个(概率是1-0.34=0.66). 这个例子说明重检验提高了 Type I error rate.

称至少犯一次错误，即一个假阳性的概率为 family-wise error rate(FWER), 记为 $\bar{\alpha}$, 即

$$\bar{\alpha}=1-(1-\alpha)^m$$
如果不假设各检验独立，则由 $Boole$ 不等式，有 $\bar{\alpha}\le k\,\alpha$.

控制程序

这里讨论控制 $FWER\le \bar{\alpha}$ 的方法。

• Bonferroni Correction

令 $\alpha_{per\,test}=\dfrac{\bar{\alpha}}{m}$, 该方法不假定分布和检验的独立性。

假设 $H_1, H_2, \dots, H_m$ 是一族检验，$p_1, p_2, \dots, p_m$ 为对应的 p-values,
FWER 为拒绝至少一个真实的 $H_i$ 的概率，即犯至少一次 Type I error.

Bonferroni 校正拒绝零假设，若 $p_i\le \dfrac{\alpha}{m},\,i=1,2,\dots,m$. 因为

$$FWER=\mathcal{P}\{ \displaystyle\bigcup_{i=1}^{m_0}(p_i \le\dfrac{\alpha}{m}) \}\le\sum\limits_{i=1}^m \mathcal{P}\{p_i\le\dfrac{\alpha}{m}\}\le m_0 \dfrac{\alpha}{m}\le\alpha$$
注意：该方法不需要假定 p-values 之间的关系。但它是相当保守的，即它试图使你甚至不犯一次假发现的错误。更合理的办法是控制假发现率( false discovery rate, FDR ).

• 控制假发现率

FDR 用来控制假发现，即不正确地拒绝零假设的期望比例。定义

$$FDR=E(\dfrac{V}{R})=E(\dfrac{V}{V+S})$$
定义 $\dfrac{V}{R}=0$, 如果 $R=0$.

Benjamini-Hochberg 程序控制 FDR 在水平 $\alpha$ 以下，具体地：

(1). 设有 $m$ 个检验 $H_1, H_2, \dots, H_m$, 对应 p-Values $p_1, p_2, \dots, p_m$, 排序为
$p_{(1)}\le p_{(2)}\le\cdots\le p_{(m)}$

(2). 给定 $\alpha$, 找到最大的 $k$, 使得 $p_{(k)}\le \dfrac{k}{m}\alpha$

(3). 拒绝所有的 $H_{(i)}, i=1,2, \dots,k$

BH 校正满足: $E(Q)\le \dfrac{m_0}{m}\alpha\le\alpha$.

阅读更多精彩内容，请关注微信公众号“统计学习与大数据”！