UA MATH564 概率论VI 数理统计基础3 卡方分布上

卡方分布

这里给出卡方分布的一般性定义。假设 $X_1,\cdots,X_n$互相独立，并且 $X_i \sim N(a_i,1)$，则称
$\sum_{i=1}^n X_i^2 \sim \chi^2(n,\delta)$
其中 $n$代表样本数， $\delta$是非中心化参数
$\delta = \sqrt{\sum_{i=1}^n a_i^2}$
如果样本来自标准正态总体，则 $\delta=0$，称之为中心化的卡方分布。这个定义不是很严谨，因为从统计量的构造来看它的分布应该是和 $a_i$以及 $n$有关，所以要让记号 $\chi^2(n,\delta)$在数学上有意义，我们需要证明卡方分布只依赖参数 $n$和 $\delta$，可以参考陈希孺的数理统计引论引理1.1.1到公式1.1.1部分。

卡方分布的分布函数

记 $k(x|n,\delta),K(x|n,\delta)$为卡方分布 $\chi^2(n,\delta)$的概率密度与累积分布函数，下面推导这两个函数的表达式。

中心化卡方分布

先讨论中心化的卡方分布，当 $x>0$时，根据上一讲讲过的多元正态分布的密度函数，可以写出：
$K(x|n,0) = P(X \le x) = \int_{B}(2\pi)^{-n/2}\exp \left( -\frac{1}{2}y'y \right)dy \\ B = \{y:y'y \le x\}$
按计算正态密度函数的积分的常规套路，将这个这个积分变换到球坐标 $(r,\theta_1,\cdots,\theta_{n-1})$下进行，记
$D(r,\theta_1,\cdots,\theta_{n-1}) = \frac{\partial (y_1,y_2,\cdots,y_n)}{\partial (r, \theta_1,\cdots,\theta_{n-1})}$
用积分换元公式，
$K(x|n,0) =(2\pi)^{-n/2} \int_{0}^{\sqrt{x}}\int_{0}^{\pi}\cdots \int_{0}^{\pi}\int_{0}^{2\pi} D(r,\theta_1,\cdots,\theta_{n-1})e^{-r^2/2}drd\theta_1\cdots d\theta_{n-1}$

这里简单介绍一下 $n$维的球坐标与直角坐标之间的转换。
$y_1 = r\cos(\theta_1) \\ y_2 = r \sin(\theta_1)\cos(\theta_2) \\ y_3 = r\sin(\theta_1)\sin(\theta_2)\cos(\theta_3) \\ \cdots \\ y_n = r\sin(\theta_1)\cdots\sin(\theta_{n-2})\cos(\theta_{n-1})$

它的Jacobi行列式为
$D(r,\theta_1,\cdots,\theta_{n-1}) = \left| \begin{matrix} 1 &-r\sin(\theta_1) & 0 & \cdots & 0 & 0 \\ 1 &r\cos(\theta_1)\cos(\theta_2) & -r\sin(\theta_1)\sin(\theta_2) & \cdots & 0 & 0 \\ \cdots\end{matrix} \right|$
（懒得打公式了）
从它的结构可以看出来，这是一个拟下三角行列式，它的值是比较好求的，最常规的方法是在第一行做Laplace展开，每一次展开都会得到更低阶的拟下三角行列式，然后再用Laplace展开（其实有点难算）；另一种方法是用第一列消去第二列第一个元素，然后用第二列消去第三列第二个元素，最后把这个拟下三角行列式化简成一个对角行列式。这里直接给出结果：
$D(r,\theta_1,\cdots,\theta_{n-1}) = r^{n-1}\prod_{i=1}^{n-2} [\sin(\theta_{i})]^{n-1-i}$
所以
$K(x|n,0) =(2\pi)^{-n/2} \int_{0}^{\sqrt{x}}\int_{0}^{\pi}\cdots \int_{0}^{\pi}\int_{0}^{2\pi} r^{n-1}\prod_{i=1}^{n-2} [\sin(\theta_{i})]^{n-1-i}e^{-r^2/2}drd\theta_1\cdots d\theta_{n-1}$

现在继续计算积分。

这个积分有个非常有趣的性质， $\theta_1,\cdots,\theta_{n-1}$的积分区域与 $x$无关，因此上面的积分可以记为
$K(x|n,0) =C_n\int_{0}^{\sqrt{x}} r^{n-1}e^{-r^2/2}dr$

根据归一性确定常数 $C_n$的值，
$K(\infty|n,0) = 1 =C_n\int_{0}^{\infty} r^{n-1}e^{-r^2/2}dr = C_n\int_{0}^{\infty} r^{n-2}e^{-r^2/2}d(r^2/2) \\ = C_n2^{n/2}\int_{0}^{\infty} (r^2/2)^{n/2-1}e^{-r^2/2}d(-r^2/2) = C_n2^{n/2}\Gamma(n/2) \Rightarrow C_n = \frac{(1/2)^{n/2}}{\Gamma(n/2)}$

因此
$K(x|n,0) =\frac{(1/2)^{n/2}}{\Gamma(n/2)}\int_{0}^{\sqrt{x}} r^{n-1}e^{-r^2/2}dr \\ k(x|n,0) = K'(x|n,0) = \frac{(1/2)^{n/2}}{\Gamma(n/2)}x^{\frac{n}{2}-1}e^{-x/2}$
这就是 $\chi^2(n)$的分布与概率密度，很显然它也是Gamma分布族的一员， $\chi^2(n) =_d \Gamma(\frac{n}{2},\frac{1}{2})$。

一般的卡方分布

当 $\delta \ne 0$时，用上面的方法计算做积分变换的时候会比较麻烦，为了计算简便一点，我们考虑一些有趣的结构。记 $X = [X_1,X_2,\cdots,X_n]'$， $a = [a_1,a_2,\cdots,a_n]'$，则 $X \sim N_n(a,I_n)$，假设 $Y = TX$，构造 $T$为正交矩阵，则根据上一讲的性质： $Y \sim N_n(Ta,I_n)$，假设构造的 $T$满足： $Ta=[\delta,0,\cdots,0]'$，则
$\sum_{i=1}^n X_i^2 = X'X=Y'(T^{-1})'(T^{-1})Y = Y'Y = Y_1^2 + \sum_{i=2}^{n} Y_i^2$
记 $Z = \sum_{i=2}^{n} Y_i^2$，则 $Y_1^2$与 $Z$独立，且 $Z \sim \chi^2(n-1)$，因此只要确定了 $Y_1^2$的分布就可以用卷积算出 $\sum_{i=1}^n X_i^2$的分布：
考虑 $Y_1^2$的分布， $Y_1 \sim N(\delta,1)$，这非常简单，略去过程：
$g(x) = \frac{1}{2\sqrt{2\pi x}} \left[ \exp\left(-\frac{(\sqrt{x}-\delta)^2}{2} \right) + \exp\left(-\frac{(\sqrt{x}+\delta)^2}{2} \right)\right]$

由此可以计算
$k(x|n,\delta) = g(x)*k(x|n-1,0) = \int_{0}^{x} k(x-y|n-1,0)g(y)dy$
我们先把被积函数写出来欣赏一下，
$k(x-y|n-1,0)g(y) = \frac{(1/2)^{(n-1)/2}}{\Gamma((n-1)/2)}(x-y)^{\frac{n-1}{2}-1}e^{-(x-y)/2}\frac{1}{2\sqrt{2\pi y}} \left[ \exp\left(-\frac{(\sqrt{y}-\delta)^2}{2} \right) + \exp\left(-\frac{(\sqrt{y}+\delta)^2}{2} \right)\right]$

这种东西一看就不想去求它的积分，一个更加巧妙的方法是用级数来替换 $g(x)$中的指数函数，
$g(x) = \frac{1}{2\sqrt{2\pi}}e^{-\frac{\delta^2+x}{2}}\sum_{i=0}^{\infty} \frac{\delta^{2i}}{(2i)!}x^{i-\frac{1}{2}}$

这样被积函数就可以写成，
$k(x-y|n-1,0)g(y)=\frac{1}{2\sqrt{2\pi}}\frac{(1/2)^{(n-1)/2}}{\Gamma((n-1)/2)}e^{-\frac{\delta^2+x}{2}}\sum_{i=0}^{\infty}\frac{\delta^{2i}}{(2i)!}y^{i-\frac{1}{2}}(x-y)^{\frac{n-1}{2}-1}$

虽然看上去更复杂了，但这个形式其实是非常好积分的，
$k(x|n,\delta) = \frac{1}{2\sqrt{2\pi}}\frac{(1/2)^{(n-1)/2}}{\Gamma((n-1)/2)}e^{-\frac{\delta^2+x}{2}}\sum_{i=0}^{\infty}\frac{\delta^{2i}}{(2i)!}\int_{0}^{x}y^{i-\frac{1}{2}}(x-y)^{\frac{n-1}{2}-1}dy$

现在仅剩的要积分的部分很明显就是beta函数的构造，这里更一般地表述一下这个技巧，要计算积分
$\int_0^x y^a(x-y)^b dy$，做换元 $t=y/x$，可以得到
$\int_0^x y^a(x-y)^b dy = x^{a+b+1}\int_0^1 t^a(1-t)^bdt = x^{a+b+1}B(a+1,b+1)$

其中 $B(a+1,b+1)$是beta函数，
$B(a+1,b+1) = \frac{\Gamma(a+1)(b+1)}{\Gamma(a+b+2)}$

利用这个技巧可以把密度函数写出来：
$k(x|n,\delta) = e^{-\frac{\delta^2+x}{2}}\sum_{i=0}^{\infty}\frac{\delta^{2i}}{2^ii!} \frac{x^{i+n/2-1}}{2^{i+n/2}\Gamma(i+n/2)}$

实际上这个密度函数写出来的意义也不大，可能只是展示一下求积分的技巧？