UA MATH567 高维统计IV Lipschitz组合7 Grassman流形与Haar测度

这一讲我们介绍Grassman流形与Grassman流形上的均匀分布，并尝试导出Grassman流形上的均匀分布的Lipschitz函数具有亚高斯性。

Grassman流形基础

Grassman流形与度量

Grassman流形是代数几何的基本工具之一，为了在Grassman流形上定义均匀分布，我们先介绍一点Grassman流形的基本概念，然后在Grassman流形上定义度量概率空间。简单理解的话，Grassman流形是一个向量空间的给定维数的子空间组成的集合，比如三维欧氏空间中所有直线的组合就是一个Grassman流形。用$V$表示向量空间，假设$dimV=n$，记它所有的$m$维子空间组成的Grassman流形是$G_{n,m}$。

要定义$G_{n,m}$中任意两个子空间的距离，我们可以考虑用子空间的正交投影，$\forall E\in G_{n,m}$，称线性算子$P_E$是它的正交投影如果

1. $P_E^2=P_E$
2. $C(P)\perp N(P)$（即列空间与核空间正交）

给定子空间，正交投影具有存在唯一性，于是对$\forall E,F\in G_{n,m}$，定义
$$d(E,F)=\Vert P_E-P_F\Vert$$

这里的范数是算子范数，这样$(G_{n,m},d)$就成了一个度量空间，接下来我们在这个度量空间上定义测度。

Haar测度
我们再来理解一下Grassman流形上的点，每一个点代表一个线性子空间，每一个线性子空间对应一个正交投影，于是我们可以把Grassman流形中的元素理解为一个正交投影变换。

引入一个概念：测度的变换不变性。在度量空间$(G_{n,m},d)$上我们可以定义开集，进而导出Borel代数，记为$\mathcal{B}(G_{n,m})$。设$\mu$是可测空间$(G_{n,m},\mathcal{B}(G_{n,m}))$上的一个测度，称$\mu$关于正交投影变换具有不变性，如果$\forall B\in \mathcal{B}(G_{n,m})$，$\forall E\in SO(n)$，
$$\mu (B)=\mu (P_{E}B)$$

既然我们把$G_{n,m}$理解为$n$维向量空间到$m$维线性子空间的正交投影的集合，那就很容易验证它在正交投影变换的和与积的意义下是一个群。在变换群上，满足这个条件的测度是唯一的，我们称这个测度为Haar测度，用$P$表示基于Haar测度定义的概率，实际上这就是一个均匀概率，这样我们就基于Grassman流形建立了一个度量概率空间$(G_{n,m},d,P)$，在这个空间中，我们可以讨论随机线性子空间，比如${\mathbb{R}}^n$上的随机$m$维子空间，
$$X\sim Unif(G_{n,m})$$

事实上我们可以把$X$理解为一个随机矩阵，它表示从${\mathbb{R}}^n$到某个$m$维线性子空间的正交投影。

例 基于高斯矩阵构造$Unif(G_{n,m})$
我们可以通过高斯矩阵构造Grassman流形上的均匀分布。假设$G$是一个$n\times m$的高斯矩阵，即每一个元素都是iid的标准正态变量，它的列空间$C(G)$满足$C(G)\sim Unif(G_{n,m})$。

Grassman流形上的均匀分布的Lipschitz函数是亚高斯的

定理
假设$X\sim Unif(G_{n,m})$，$f:G_{n,m}\to \mathbb{R}$，则$\exists C>0$
$${\Vert f(X)-Ef(X)\Vert }_{{\psi }_2}\le \frac{C{\Vert f\Vert }_{Lip}}{\sqrt{n}}$$

Grassman流形上Isoperimetric不等式
根据上面的例子，我们用高斯矩阵$G=[g_1,\cdots ,g_m]$来表示Grassman流形上的均匀分布，$X=C(G)\sim Unif(G_{n,m})$，其中高斯矩阵的列空间可以表示为
C ( G ) = { ∑ i = 1 m λ i g i : g i ∼ i i d N ( 0 , I n ) , λ i ∈ R , ∀ i ∈ { 1 , ⋯   , m } } C(G) = \{\sum_{i=1}^m \lambda_i g_i:g_i \sim _{iid}N(0,I_n),\lambda_i \in \mathbb{R},\forall i \in \{1,\cdots,m\}\} C(G)={ i=1∑m​λi​gi​:gi​∼iid​N(0,In​),λi​∈R,∀i∈{ 1,⋯,m}}

则记$H$为列空间$G_{n,m}$的一个半空间，
H = { ∑ i = 1 m λ i g i : ∀ s p a n ( g 1 , ⋯   , g m ) ⊂ R n dim ⁡   s p a n ( g 1 , ⋯   , g m ) = m , λ i ∈ R , 2 ≤ i ≤ m , λ 1 ≥ 0 } H=\{\sum_{i=1}^m \lambda_i g_i:\forall span(g_1,\cdots,g_m) \subset \mathbb{R}^n \\\dim\ span(g_1,\cdots,g_m)=m ,\lambda_i \in \mathbb{R},2 \le i \le m,\lambda_1 \ge 0\} H={ i=1∑m​λi​gi​:∀span(g1​,⋯,gm​)⊂Rndim span(g1​,⋯,gm​)=m,λi​∈R,2≤i≤m,λ1​≥0}

于是$P(H)=1/2$，定义
H t = { x ∈ G n , m : ∃ y ∈ H , d ( x , y ) ≤ t } H_t = \{x \in G_{n,m}:\exists y \in H,d(x,y) \le t\} Ht​={ x∈Gn,m​:∃y∈H,d(x,y)≤t}

下面我们计算这个集合的概率，目标是找一个它的子集，这个子集对应某个亚高斯变量的取值，我们定义半空间的思路是对一个$m$维的线性子空间的基，我们在用这组基张成子空间时固定第一个基的系数非负，于是$d(x,y)\le t$的一种可能性就是有且仅有第一个基的系数有一点点差别，因此$d(x,y)\le t$实际上就是某个各向同性的零均值高斯向量的线性组合不大于$t$，根据推广Hoeffding不等式，$\exists C>0$，
$$P(H_t)\ge 1-e^{-Cn{t}^2}$$

因此，如果$P(A)>1/2$，
$$P(A_t)\ge 1-e^{-Cn{t}^2}$$

证明定理
假设${\Vert f\Vert }_{Lip}=1$，不然我们总是可以分析$f/{\Vert f\Vert }_{Lip}$，

第一步：$f(X)-M$是亚高斯的，其中$M$是$f(X)$的中位数，也就是
$$P(f(X)\ge M)\ge 1/2,P(f(X)\le M)\ge 1/2$$

定义
A = { x ∈ G n , m : f ( x ) ≤ M } A = \{x \in G_{n,m}:f(x) \le M\} A={ x∈Gn,m​:f(x)≤M}

则
$$P(X\in A)=P(f(X)\le M)\ge 1/2$$

根据Grassman流形上Isoperimetric不等式，
$$P(A_t)\ge 1-e^{-Cn{t}^2}$$

因为$x\in A_t$说明$\exists y\in A$, ${\Vert x-y\Vert }_2\le t$，根据Lipschitz函数的定义：
$$f(x)-f(y)\le {\Vert f\Vert }_{Lip}{\Vert x-y\Vert }_2\le t$$

$y\in A$说明$f(y)\le M$，所以
$$f(x)\le f(y)+t\le M+t$$

因此

$$P(f(X)-M\le t)\ge P(X\in A_t)\ge 1-e^{-Cn{t}^2}$$

类似地，对于$f(X)-M\ge -t$，我们有
$$P(f(X)-M\ge -t)\ge 1-e^{-Cn{t}^2}$$

所以
$$P(|f(X)-M|\ge t)\le 2e^{-Cn{t}^2}$$

第二步：使用centering技巧，假设$X$是亚高斯随机变量，则$X-EX$也是亚高斯随机变量，并且存在常数$C$使得
$${\Vert X-EX\Vert }_{{\psi }_2}\le C{\Vert X\Vert }_{{\psi }_2}$$

因为$f(X)-M$是亚高斯的，于是$f(X)-M-E[f(X)-M]=f(X)-Ef(X)$也是亚高斯的，证毕。