L6-假设检验：临界值法与P值法

假设检验(hypothesis testing)，又称统计假设检验，先做出某种假设，然后通过抽样收集数据进行统计推理，对此假设应该被拒绝还是接受做出推断。

e.g. 某药品 $X$ 可以起到降血糖的作用，为检验其药效，随机抽取 $9$ 位实验者。记录服药前的血糖值，然后让每位实验者服用该药物，连续服药一周后，再次记录其血糖值度。服药前后血糖差值如下： $1.5， 0.6， -0.3， 1.1，-0.8， 0， 2.2， -1.0， 1.4$ 问题：根据目前的样本能否认为该药物有效的？

1. 建立两个完全对立的假设

原假设（零假设） $H_0$ ，备择假设（对立假设） $H_1$ 。

原假设与备择假设是不对称的，决定谁是原假设，依赖于立场、惯例、方便性。

（1）保护原假设：如果错误地拒绝假设A比错误地拒绝假设B带来更严重的后果——A选作原假设。

假设A：新药有某种毒副作用
假设B：新药无某种毒副作用

“有毒副作用”错误地当成“无毒副作用”比“无毒副作用”错误地当成“有毒副作用”带来的后果更严重，因此A选作原假设 $H0$ 。

（2）原假设为维持现状：为解释某些现象或效果的存在性，原假设常取为“无效果”、“无改进”、“无差异”，等，拒绝原假设表示有较强的理由支持备择假设。

原假设 $H_0$ ：药物无效
备择假设 $H_1$ : 药物有效

（3）原假设取简单假设：只有一个参数(或分布)的假设称为简单假设.如果只有一个假设是简单假设，将其取为原假设。

参数假设的形式

设 $\theta$ 是反映总体指标某方面特征的量, 是我们感兴趣的参数，一般参数 $\theta$ 的假设有三种情形:

$H_0：\theta = \theta_0，H_1：\theta < \theta_0$ （左边检验）
$H_0：\theta = \theta_0，H_1：\theta > \theta_0$ （右边检验）
$H_0：\theta = \theta_0，H_1：\theta \neq \theta_0$ （右边检验）

其中， $H_0：\theta \geq \theta_0，H_1：\theta < \theta_0$ （左边检验）与 $H_0：\theta = \theta_0，H_1：\theta < \theta_0$ （左边检验）的检验法则与检验效果一致。

同理， $H_0：\theta \leq \theta_0，H_1：\theta > \theta_0$ （右边检验）与 $H_0：\theta = \theta_0，H_1：\theta > \theta_0$ （右边检验）的检验法则与检验效果一致。

2. 给出检验统计量，并确定拒绝域的形式

如果统计量 $T=T(X_1,...,X_n)$ 的取值大小和原假设 $H_0$ 是否成立有密切联系，可将其称为对应假设问题的检验统计量，而对应于拒绝原假设 $H_0$ 时，样本值的范围称为拒绝域，记为 $W$ ，其补集 $\bar W$ 称为接受域。

该例中，设服药前后血糖差值 $X \sim N(\mu ,\sigma^2)$ ，并假设 $\sigma^ = 0.36$ 。

假设检验： $H_0：\mu=0，H_1：\mu>0$

由于 $\bar X$ 是 $\mu$ 的无偏估计， $\bar X$ 的取值大小反映了 $\mu$ 的取值大小，当原假设成立时（药物无效）， $\bar X$ 取值应偏小。

因此

当 $\bar X \geq C$ 时，拒绝原假设 $H_0$
当 $\bar X < C$ 时，接受原假设 $H_0$

本例中检验统计量 $X$ ，拒绝域 $W = \{(X_1,...,X_n): \bar X \geq C \}$

关键问题：如何选择 $C$

两类错误

由于样本的随机性，任一检验规则在应用时，都有可能发生错误的判断——两类错误。

	原假设为真	原假设为假
拒绝原假设	$I$ 类错误	正确
接受原假设	正确	$II$ 类错误

第 $I$ 类错误：拒绝真实的原假设(弃真)
第 $II$ 类错误：接受错误的原假设(取伪)

令

$\alpha = P\{第$ I $类错误\}= P\{拒绝H_0\ \mid H_0为真\}$
$\beta = P\{第$ II $类错误\}= P\{接受H_0\ \mid H_0为假\}$

e.g. 总体 $X \sim N(\mu,1)$ ，则 $\bar X = \frac{1}{n}\sum_{i=1}^{n}X_i \sim N(\mu, \frac{1}{n})$

$H_0：\mu = \mu_0，H_1:\mu=\mu_1(>\mu_0)$ ，拒绝域： $\bar X \geq C$

犯两类错误的概率相互制约。

Neyman-Pearson原则
首先控制犯第 $I$ 类错误的概率不超过某个常数 $\alpha \in (0,1)$ ，再寻找检验，使得犯第 $II$ 类错误的概率尽可能小。 $\alpha$ 称为显著水平。常取 $\alpha = 0.01，0.05，0.1$ 等。

3. 临界值法：根据显著水平和统计量的分布确定临界值

本例中，取显著水平 $\alpha = 0.05$ 。

当 $H_0：\mu=0$ 成立时， $\frac{\bar X}{0.6 / \sqrt{9}}\sim N(0,1)$

犯第 $I$ 类错误的概率
$\begin{aligned} P\{\bar X \ge \mid \mu = 0\} & = P\{\frac{\bar X}{\sigma / \sqrt{n}} \ge \frac{C}{\sigma / \sqrt{n}} \mid \mu =0 \} \\ & = 1 - \Phi( \frac{C}{\sigma / \sqrt{n}}) \\ & \leq \alpha = 0.05 \end{aligned}$

$\Phi(-z_{0.05}) = 0.05$ ， $\frac{C}{0.6 / \sqrt{9}} \ge z_{0.05} = 1.645 \Longrightarrow C \ge 0.329$

根据Neyman-Pearson原则，为使犯第 $II$ 类错误的概率尽可能小，应取 $C=0.329$ ，因此拒绝域为 $W = \{\bar X \ge 0.329\}$

4. 根据样本得出结论

根据样本， $\bar x = 0.522 > 0.329$ ，在拒绝域内。

当原假设 $H_0$ 成立时，样本落在拒绝域的概率不超过0.05，是小概率事件。根据实际推断原理，有充分的理由拒绝原假设（药物无效），认为药物有效。

同理可验证，若取显著性水平 $\alpha = 0.01$ ，拒绝域 $W = \{\bar X \ge 0.465\}$ ， $\bar x = 0.522 > 0.465$ ，依然在拒绝域内，因此拒绝原假设。

5. P值法

$P\_$ 值：当原假设 $H_0$ 成立时，检验统计量取比观察到的结果更为极端的数值的概率，即最小显著性水平。

$\begin{aligned} P\_ & = P\{\bar X \geq \bar x = 0.522 \mid \mu = 0\} \\ & = 1- \Phi(\frac{0.522}{0.6 \sqrt{9}}) = 0.0045 \\ & < \alpha = 0.05 \end{aligned}$

通过比较 $P_值$ 与显著性水平，得出结论：概率这么小的事件发生了，因此拒绝原假设。

$P\_$ 值与显著水平 $\alpha$ 的关系：

若 $P\_ \leq \alpha$ ，等价于样本落在拒绝域内，因此拒绝原假设，称检验结果在水平 $\alpha$ 下是统计显著的。
若 $P\_ > \alpha$ ，等价于样本不落在拒绝域内，因此接受原假设，称检验结果在水平 $\alpha$ 下是统计不显著的。

小结

（1）临界值法处理假设检验问题的基本步骤

根据实际问题提出原假设和备择假设
提出检验统计量和拒绝域的形式
在给定的显著水平 $\alpha$ 下，根据Neyman-Pearson原则求出拒绝域的临界值
根据实际样本观测值做出判断

（2） $P\_$ 值法处理假设检验问题的基本步骤

根据实际问题提出原假设和备择假设
提出检验统计量和拒绝域的形式
计算检验统计量的观测值与 $P\_$ 值
根据给定的显著水平 $\alpha$ 做出判断