UA MATH567 高维统计IV Lipschitz组合10 随机矩阵的Bernstein不等式

随机矩阵的Bernstein不等式
假设$X_1,\cdots ,X_N$是一列独立对称零均值的随机矩阵，${\sup }_i\Vert X_i\Vert \le K,a.s.$，则$\forall t>0$，
$$P(\Vert \sum _{i=1}^N{X}_i\Vert \ge t)\le 2n{e}^{-\frac{t^2/2}{{\sigma }^2+Kt/3}}$$

其中${\sigma }^2=\Vert {\sum }_{i=1}^{N}E{X}_i^2\Vert$。

引理 矩母函数的半正定序上界 假设$X$是一个$n$阶实对称阵零均值随机向量，$\Vert X\Vert \le K,a.s.$，则当$|\lambda |<3/K$时，
$$e^{g(\lambda )E{X}^2}\ge E{e}^{\lambda X}$$

其中
$$g(\lambda )=\frac{{\lambda }^2/2}{1-|\lambda |K/3}$$

证明
主要思路是Taylor展开，对于$|z|<3$，
$$e^z=1+z+\frac{z^2}{2}+\cdots =1+z+z^2\sum _{p=2}^{\infty }{z}^{p-2}/p!$$

可以验证对于$p\ge 2$，
$$p!\ge 2\times 3^{p-2}$$

于是
$$e^z\le 1+z+z^2\sum _{p=2}^{\infty }{z}^{p-2}/(2\times 3^{p-2})=1+z+\frac{z^2}{2}\frac{1}{1-|z|/3}$$

接下来做换元，$z=\lambda x$，$|x|\le K$，$|\lambda |<3/K$，则
$$e^{\lambda x}\le 1+\lambda x+g(\lambda )x^2$$

我们需要的是矩阵形式，上一讲介绍过矩阵函数，对于指数函数与多项式函数，我们可以直接用矩阵记号，于是

扫描二维码关注公众号，回复： 12280505 查看本文章

$$I+\lambda X+g(\lambda )X^2\succcurlyeq e^{\lambda X}$$

根据积分的保序性，
$$I+g(\lambda )E{X}^2\ge E{e}^{\lambda X}$$

根据Bernoulli不等式
$$e^{g(\lambda )E{X}^2}\ge I+g(\lambda )E{X}^2$$

于是引理得证。

---

证明Bernstein不等式
记$$S=\sum _{i=1}^N{X}_i,\Vert S\Vert =\underset{i}{\max }|{\lambda }_i(S)|=\max (|{\lambda }_1(S)|,|{\lambda }_i(S)|)$$

我们用Markov不等式，
$$\begin{gathered} P({\lambda }_1(S)\ge t)=P(e^{\eta {\lambda }_1(S)}\ge e^{\eta t})\le e^{-\eta t}E{e}^{\eta {\lambda }_1(S)} \\ =e^{-\eta t}E{\lambda }_1(e^{\eta S})\le Etr(e^{\eta S}) \end{gathered}$$

最后一个不等式是因为对任意实对称矩阵$A$
$$tr(A)=\sum _{i=1}^n{\lambda }_i(A)\ge {\lambda }_1(A)$$

用${\mathcal{F}}_N$表示$\sigma (X_1,\cdots ,X_N)$，也就是这个随机矩阵序列的自然滤波，则
$$Etr(e^{\eta S})=E_{{\mathcal{F}}_{N-1}}{E}_{X_N}tr(e^{{\sum }_{i=1}^{N-1}\eta X_i+\eta X_N})$$

根据Lieb不等式，
$$E_{{\mathcal{F}}_{N-1}}{E}_{X_N}tr(e^{{\sum }_{i=1}^{N-1}\eta X_i+\eta X_N})\le E_{{\mathcal{F}}_{N-1}}tr(e^{{\sum }_{i=1}^{N-1}\eta X_i+\log E_{X_N}{e}^{\eta X_N}})$$

这样就得到了关于这个矩阵序列的递归式，通过递归我们有
$$Etr(e^{\eta S})\le tr(e^{{\sum }_{i=1}^N\log E{e}^{\eta X_i}})$$

根据引理，
$$E{e}^{\eta X_i}\le e^{g(\eta )E{X}_i^2}$$

于是
$$tr(e^{{\sum }_{i=1}^N\log E{e}^{\eta X_i}})\le tr(e^{g(\eta ){\sum }_{i=1}^{N}E{X}_i^2})=tr(e^{g(\eta )z})$$

其中$z={\sum }_{i=1}^{N}E{X}_i^2$，这是一个$n\times n$的实对称矩阵，
$$tr(e^{g(\eta )z})\le n{\lambda }_1(e^{g(\eta )z})=n{e}^{g(\eta ){\lambda }_1(z)}=n{e}^{g(\eta )\Vert z\Vert }=n{e}^{g(\eta ){\sigma }^2}$$

第一个不等号是因为对任意实对称矩阵$A$
$$tr(A)=\sum _{i=1}^n{\lambda }_i(A)\le n{\lambda }_1(A)$$

综上，
$$P({\lambda }_1(S)\ge t)\le n{e}^{-\eta t}{e}^{g(\eta ){\sigma }^2}$$

选择使得这个上界最小的$\eta$，比如可以选择$\lambda =t/({\sigma }^2+Kt/3)$，则
$$P({\lambda }_1(S)\ge t)\le n{e}^{-\frac{t^2/2}{{\sigma }^2+\frac{Kt}{3}}}$$

我们可以重复这个过程，分析${\lambda }_n(S)$，即可得到Bernstein不等式。