UA MATH567 高维统计III 随机矩阵6 亚高斯矩阵的范数

在前五讲的理论基础上，我们现在开始正式讨论随机矩阵。假设$A$是一个$m\times n$的随机矩阵，它的元素$A_{ij}$是互相独立的零均值的亚高斯随机变量，关于它的范数有下面的结论

随机矩阵的范数 $K={\max }_{i,j}{\Vert A_{ij}\Vert }_{{\psi }_2}$, $\forall t>0$
$$P(\Vert A\Vert \lesssim K(\sqrt{m}+\sqrt{n}+t))\ge 1-2e^{-t^2}$$

这个结果说明矩阵$A$的范数的尾部概率也具有亚高斯性。如果$A$是$n\times n$的对称阵，则
$$P(\Vert A\Vert \lesssim K(\sqrt{n}+t))\ge 1-4e^{-t^2}$$

证明

第一步，我们先考虑一下算子范数，
$$\begin{gathered} \Vert A\Vert =\underset{x\in S^{n-1} \\ y\in S^{m-1}}{\max }⟨Ax,y⟩ \end{gathered}$$

存在$x\in S^{n-1},y\in S^{m-1}$使得$\Vert A\Vert =⟨Ax,y⟩$，假设$\mathcal{N}$是$S^{n-1}$的一个$ϵ$-net（根据第四讲的讨论，我们总是可以用一个球框住这样的集网，因此不失一般性，我们可以构造cardinality满足$|\mathcal{N}|<9^n,|\mathcal{M}|<9^m$的集网），$\mathcal{M}$是$S^{m-1}$的一个$ϵ$-net，则根据定义$\exists x_0\in \mathcal{N},\exists y_0\in \mathcal{M}$，${\Vert x-x_0\Vert }_2\le ϵ,{\Vert y-y_0\Vert }_2\le ϵ$，计算
$$⟨A{x}_0,y_0⟩=⟨Ax,y⟩+⟨A(x-x_0),y⟩+⟨A{x}_0,y_0-y⟩$$

其中第二项满足
$$\begin{gathered} ⟨A(x-x_0),y⟩\ge -{\Vert A(x-x_0)\Vert }_2{\Vert y\Vert }_2 \\ =-{\Vert A(x-x_0)\Vert }_2\ge -ϵ\Vert A\Vert \end{gathered}$$

类似地，第三项满足
$$⟨A{x}_0,y_0-y⟩\ge -ϵ\Vert A\Vert$$

因此
$$\begin{gathered} \Vert A\Vert \le \frac{1}{1-2ϵ}⟨A{x}_0,y_0⟩\le \frac{1}{1-2ϵ}\underset{x\in \mathcal{N} \\ y\in \mathcal{M}}{\max }⟨Ax,y⟩ \end{gathered}$$

第二步，我们讨论随机矩阵的二次型，$\forall x\in \mathcal{N},y\in \mathcal{M}$，
$$⟨Ax,y⟩=\sum _{i=1}^n\sum _{j=1}^m{A}_{ij}{x}_i{x}_j$$

于是根据推广Hoeffding不等式的第一个结论，$\exists C>0$，
$$\begin{gathered} {\Vert ⟨Ax,y⟩\Vert }_{{\psi }_2}\le C\sum _{i=1}^n\sum _{j=1}^m{\Vert A_{ij}{x}_i{x}_j\Vert }_{{\psi }_2} \\ =C\sum _{i=1}^n\sum _{j=1}^m{x}_i^2{y}_j^2{\Vert A_{ij}\Vert }_{{\psi }_2}\le C\sum _{i=1}^n\sum _{j=1}^m{x}_i^2{y}_j^2{K}^2=C{K}^2 \end{gathered}$$

这说明$⟨Ax,y⟩$是亚高斯的。

第三步，使用亚高斯性，
$$P(⟨Ax,y⟩\ge u)\le 2e^{-c{u}^2/K^2},\exists c>0$$

于是
$$\begin{gathered} P(\underset{x\in \mathcal{N} \\ y\in \mathcal{M}}{\max }⟨Ax,y⟩\ge u)\le \sum _{x\in \mathcal{N} \\ y\in \mathcal{M}}P(⟨Ax,y⟩\ge u) \\ \le 9^{m+n}2e^{-c{u}^2/K^2}=2e^{(m+n)\log 9-c{u}^2/K^2} \end{gathered}$$

因为$u$可以任意选取，为了使这个尾部概率尽可能小，我们希望通过选取$u$使得这个概率的上界在$m,n$趋于无穷时收敛到0，一种可行的选取是
$$\begin{gathered} u=C^{\prime }K(\sqrt{m}+\sqrt{n}+t) \\ {u}^2\ge C^{\prime 2}{K}^2(m+n+t) \end{gathered}$$

其中$C^{\prime }>0$是个常数，于是
$$2e^{(m+n)\log 9-c{u}^2/K^2}\ge 2e^{(m+n)\log 9-c{C}^{\prime 2}(m+n)-c{C}^{\prime 2}t}$$

选取$C^{\prime }$使得
$$(m+n)\log 9-c{C}^{\prime 2}(m+n)<0,c{C}^{\prime 2}\ge 1$$

则
$$2e^{(m+n)\log 9-c{C}^{\prime 2}(m+n)-c{C}^{\prime 2}t}\ge 2e^{-2t^2}$$

这样我们就说明了$\exists C>0$
$$P(\Vert A\Vert \le CK(\sqrt{m}+\sqrt{n}+t))\ge 1-2e^{-t^2}$$

第四步，说明对称的情况，如果$A^T=A$，我们是不能直接用第三步的结果的，因为前三步得到的结论要求$A$的所有分量都是独立的，而对称的矩阵自带约束$A_{ij}=A_{ji}$，因此关于主对角线对称的两个元素必定不独立。一种拆分方法是我们把对称矩阵沿主对角线拆开：
$$A=A^{+}+A^{-}$$

其中$A^{+}$表示下三角部分(包含主对角线，上三角部分为0)，$A^{-}$表示上三角部分（不包含主对角线，主对角线及下三角部分为0），于是
$$\Vert A\Vert =\Vert A^{+}\Vert +\Vert A^{-}\Vert$$

分别对$\Vert A^{+}\Vert$与$\Vert A^{-}\Vert$使用前三步的结论即可。