UA MATH564 概率论VI 数理统计基础3 卡方分布下 Cochran定理

这一讲介绍多元正态随机变量的二次型的相关性质以及非常常用的Cochran定理。假设 $X_1,\cdots,X_n$互相独立，记 $X = [X_1,\cdots,X_n]' \sim N_n(a,I_n)$， $a = [a_1,\cdots,a_n]'$。

多元正态随机变量二次型的分布

假设 $A$是 $n$阶对称幂等矩阵，记 $r=rank(A)$，则 $Y=X'AX\sim \chi^2_{r,\delta},\delta=a'Aa$

证明
充分性。因为 $A$是幂等矩阵，因此 $A$的特征值为0或1， $r=rank(A)$，因此 $A$的特征值中有 $r$个1，由于 $A$是对称矩阵，因此 $\exists P,P'P=PP'=I_n$， $PAP'=diag(I_r,0)$。做正交变换 $Z=PX$，则 $Z \sim N_n(Pa,I_n)$， $Y=X'AX=Z'PAP'Z=Z'diag(I_r,0)Z=\sum_{i=1}^r Z_i^2 \sim \chi^2_{r,\delta} \\ \delta^2 = \sum_{i=1}^r EZ_i^2 = (EZ)'diag(I_r,0)(EZ)=(EZ)'PAP'(EZ) \\ = (EZ)'P'AP(EZ)=E(PZ)'AE(PZ)=a'Aa$
必要性。因为 $r=rank(A)$，假设 $A$的非零特征根为 $\lambda_1,\lambda_2,\cdots,\lambda_r$， $\exists Q,Q'Q=QQ'=I_n$， $QAQ'=diag(\lambda_1,\cdots,\lambda_r,0,\cdots,0)$，做正交变换 $Z=PX$
$Y = X'AX = Z'QAQ'Z = \sum_{i=1}^r \lambda_i Z_i^2$

其中 $Z \sim N_n(Pa,I_n)$，记 $Z_i \sim N(c_i,1),i=1,\cdots,n$，可以用特征函数确定 $Y$的分布。计算 $\lambda_j Z_j^2$的特征函数，
$\kappa_{\lambda_j Z_j^2}(t) = E[e^{it\lambda_j Z_j^2}] = \int_{-\infty}^{\infty} e^{it\lambda x^2} \frac{1}{\sqrt{2\pi}}e^{-\frac{(x-c_j)^2}{2}}dx= \frac{1}{\sqrt{1-2i\lambda_j t}}e^{\frac{i\lambda_j t c_j}{1-2i\lambda_j t}}$

进一步计算 $Y$的特征函数为
$\kappa_Y(t) = \prod_{j=1}^r \kappa_{\lambda_j Z_j^2}(t) = \prod_{j=1}^r \frac{1}{\sqrt{1-2i\lambda_j t}}e^{\frac{i\lambda_j t c_j}{1-2i\lambda_j t}}$

当 $\lambda_1 = \lambda_2 = \cdots = \lambda_r = 1$时，这个特征函数成为 $\chi^2_{r,\delta}$的特征函数，因此 $A$为幂等矩阵。

证毕

Cochran定理

假设 $X \sim N_n(a,I_n)$， $X'X = \sum_{i=1}^m X'A_iX$，则 $X'A_iX \sim \chi^2_{n_i,\delta_i}$，当且仅当 $\sum_{i=1}^m rank(A_i)=n$时 $X'A_iX$互相独立，此时 $n_i = rank(A_i),\delta_i^2 = a'A_ia$。

证明
充分性。记 $Q_i = X'A_iX$，假设 $B$是一个正交矩阵，则
$\sum_{i=1}^m Q_i = X'X = X'I_nX = X'B'BX=\sum_{i=1}^m X'A_iX = X'\left(\sum_{i=1}^m A_i \right) X$
做正交变换 $Z = BX$，则 $Z \sim N(Ba,I_n)$，并且
$\sum_{i=1}^m Q_i = Z'Z = \sum_{j=1}^n Z_j^2 = \sum_{i=1}^m \sum_{j=e_{i-1}+1}^{e_i} Z_j^2$
其中 $e_{i} = \sum_{j=1}^i n_j$，假设 $B$的选取使得
$Q_i = \sum_{j=e_{i-1}+1}^{e_i} Z_j^2 = X'A_iX,\forall i=1,2,\cdots,m$
根据上面多元正态随机变量二次型的分布性质的证明， $Q_i \sim \chi^2_{n_i,\delta_i}$

必要性的证明需要另一个性质：
$X'AX \sim \chi^2_{m,\delta},\ \ X'A_1X \sim \chi^2_{m,\delta_1}, A-A_1 \ge 0 \\ \Rightarrow X'(A-A_1)X \sim \chi^2_{m-m_1,\delta_2}$

必要性就是把这个性质从两个矩阵( $A-A_1,A_1$)推广到有限个( $A_1,\cdots,A_m$)，用数学归纳法就可以证明；这条性质本身可以用特征函数验证。

证毕