UA MATH567 高维统计 专题1 Supervised PCA Regression概述

相关结果

考虑经典的回归问题$y=X\beta +ϵ,X\in {\mathbb{R}}^p,ϵ\sim N(0,{\sigma }^2{I}_n)$，根据Gauss-Markov定理，在满足定理的假设时，OLS估计量具有非常好的渐近性质，但是当$p$与$n$非常接近或者模型存在比较强的多重共线性时，OLS是nonstable估计。

PCA Regression是一种改进OLS不稳定性的模型，它分为下面几个步骤：

1. 计算$X$的principle component（PC），选择前几个主成分作为新的regressor
2. 用新的regressor做OLS

PCA方法使得PC互相正交，这样新的OLS就没有多重共线性的；OLS的另一种不稳定性主要来自$(X^{T}X{)}^{-1}$的计算，但因为正交性，PC的这一步计算只需要计算对角阵的逆，所以从计算上讲PCA Regression更稳定。PCA Regression的缺陷是PCA是非监督学习，是对特征$X$进行降维的；而我们最终目标是要用$X$对$Y$回归，这是一种监督学习，直接把这两步串起来我们没有办法确保特征$X$的PC与$Y$之间的dependence与$X$与$Y$之间的dependence仍然是完全一致的。

另一种改进多重共线性的方法是Penalized Regression，比如Ridge Regression：
$$\underset{\beta }{\mathrm{argmin}}\frac{1}{n}\sum _{i=1}^n(y_i-x_i^T\beta {)}^2+\lambda {\Vert \beta \Vert }_2^2$$

这个方法的优点是我们能拿到岭回归估计量的表达式，
$${\hat{\beta }}_{ridge}=(X^{T}X/n+\lambda I{)}^{-1}{X}^{T}y$$

即使$p$与$n$接近，因为$\lambda I$的存在，计算矩阵的逆时也不会不稳定（不会是non-singular矩阵）；需要注意的是岭回归是有偏的，它只能做proportional shrinkage，不能处理sparsity的问题。作为另一种常用的shrinkage estimation，LASSO可以把一些系数shrink到0，因此它能处理sparsity。
$$\underset{\beta }{\mathrm{argmin}}\frac{1}{n}\sum _{i=1}^n(y_i-x_i^T\beta {)}^2+\lambda {\Vert \beta \Vert }_1$$

它在计算上比岭回归更复杂，但这二十年来，统计学家开发了许多用来计算LASSO，所以现在已经不是个问题了。关于sparsity，通常用的假设是 ∣ { j : β j ≠ 0 } ∣ < < p |\{j:\beta_j \ne 0\}|<<p ∣{ j:βj​​=0}∣<<p，但是如果$p>n$，并且没有sparsity，那就没有能处理的方法了。

Supervised PCA Regression

综合PCA Regression与Penalized Regression的特点，我们可以设计Supervised PCA Regression，假设$X$是centered design matrix，引入$\hat{\Sigma }=X^{T}X/n$，$\hat{\delta }=X^{T}y/n$，定义
$${\hat{\Sigma }}_{\rho }=\hat{\Sigma }+\rho \hat{\delta }{\hat{\delta }}^T$$

这个值形式上与样本协方差类似，但他包含了feature与label共同的信息，我们提取它的主成分，然后用来做PCA，这就是Supervised PCA Regression。如果$\rho \to 0$，这就是一个PCA regression，如果$\rho \to \infty$，这就是一个marginal regression。Marginal Regression的含义是分别对每一个feature做一元回归：
$$\begin{gathered} y_1=x_1{\beta }_1+{ϵ}_1 \\ {y}_2=x_2{\beta }_2+{ϵ}_2 \\ \cdots \\ {y}_p=x_p{\beta }_p+{ϵ}_p \end{gathered}$$

这种模型在variable screening中有一些应用，并且在需要初值的迭代算法中可以作为系数的初始值。

下面我们再介绍一些Supervised PCA Regression的特点。假设
$$\Sigma =E{X}^{T}X,\delta =E{X}^{T}y$$

则
$$\beta ={\Sigma }^{-1}\delta$$

如果$\Sigma$的特征值为${\lambda }_1\ge \cdots \ge {\lambda }_k>{\lambda }_{k+1}=\cdots ={\lambda }_d$，那么做谱分解
$$\Sigma =\sum _{i=1}^k({\lambda }_i-{\lambda }_d){\xi }_i{\xi }_i^T+{\lambda }_d{I}_d$$

根据${\Sigma }^{-1}\Sigma =I_d$，我们可以得到$\exists a_i,a_0$，
$${\Sigma }^{-1}=\sum _{i=1}^k{a}_i{\xi }_i{\xi }_i^T+a_0{I}_d$$

于是
$$\beta ={\Sigma }^{-1}\delta =\sum _{i=1}^k{a}_i({\xi }_i^T\delta ){\xi }_i+{\lambda }_d\delta \in span({\xi }_1,\cdots ,{\xi }_k,\delta )$$

而${\Sigma }_{\rho }=\Sigma +\rho \delta {\delta }^T$的前$k+1$个主成分张成的子空间就是$span({\xi }_1,\cdots ,{\xi }_k,\delta )$，这说明用${\Sigma }_{\rho }$的前$k+1$个主成分对特征空间进行降维是不存在信息损失的。而Davis-Kahan定理又能保证${\hat{\Sigma }}_{\rho }$与${\Sigma }_{\rho }$是足够接近的，所以在以上的理论分析支撑下，我们可以认可Supervised PCA Regression。但关于这个模型的统计理论还有一些问题需要解决：

1. Supervised PCA Regression系数估计量的统计性质；
2. 关于特征值的假设${\lambda }_1\ge \cdots \ge {\lambda }_k>{\lambda }_{k+1}=\cdots ={\lambda }_d$，如果不成立是否还有降维没有信息损失的性质？