UA MATH567 高维统计IV Lipschitz组合2 Spherical Distribution的Lipschitz函数 Isoperimetric不等式

这一讲我们先介绍最简单的高维分布，也就是球面分布的Lipschitz函数的concentration。

我们在上上部分随机向量第三讲介绍过这个分布，$X\sim Unif(\sqrt{n}{S}^{n-1})$，其中$S^{n-1}$表示$n$维空间中的单位球面，这个符号说明$X$在半径在$\sqrt{n}$的球面上服从均匀分布，它是零均值各向同性的，并且当$n$足够大时，$N(0,I_n)\approx Unif(\sqrt{n}{S}^{n-1})$。

定理 球面分布的Lipschitz函数是亚高斯的
$X\sim Unif(\sqrt{n}{S}^{n-1})$，$f:\sqrt{n}{S}^{n-1}\to \mathbb{R}$是Lipschitz函数，则$\exists C>0$
$${\Vert f(X)-Ef(X)\Vert }_{{\psi }_2}\le C{\Vert f\Vert }_{Lip}$$

其中${\Vert f\Vert }_{Lip}$是$f$的Lipschitz范数。

评注
根据亚高斯性，$\exists c>0$
$$P(|f(X)-Ef(X)|\ge t)\le 2e^{-c{t}^2/{\Vert f\Vert }_{Lip}^2}$$

与前两部分的结论相比，这个结果说明随机向量的Lipschitz函数具有与线性函数类似的concentration property。

这个定理的证明有一点点复杂，需要用到一些其他的结果，这里先介绍一下要用到的结论：

Isoperimetric不等式1 欧氏空间中，给定体积则表面积最小的一定是球体，基于这个观察我们有：
A ϵ = { x ∈ R n : ∃ y ∈ A , ∥ x − y ∥ 2 ≤ ϵ } = A + ϵ B 2 n A_{\epsilon} = \{x \in \mathbb{R}^n:\exists y \in A,\left\| x-y\right\|_2 \le \epsilon\} = A + \epsilon B_2^n Aϵ​={ x∈Rn:∃y∈A,∥x−y∥2​≤ϵ}=A+ϵB2n​

第二个等号后的$B_2^n$表示$n$维单位球，$+$表示Minkowski和，这个结论看似显然但证明复杂，所以这里不展示。

Isoperimetric不等式2 球面上封闭曲线围成的面积一定时，封闭曲线为圆形需要的长度最短，基于这个观察我们有：
A ϵ = { x ∈ S n − 1 : ∃ y ∈ A , ∥ x − y ∥ 2 ≤ ϵ } A_{\epsilon} = \{x \in S^{n-1}:\exists y \in A,\left\| x-y\right\|_2 \le \epsilon\} Aϵ​={ x∈Sn−1:∃y∈A,∥x−y∥2​≤ϵ}

则$A_{ϵ}$是$S^{n-1}$与过球心的某个圆锥的交集，进一步地，如果定义$\sigma$为normalized area，使得$\forall A\subset S^{n-1},\sigma (A)$表示将球面缩放为$S^{n-1}$后，$A$对应的面积，如果$\sigma (A)\ge 1/2$，则
$$\sigma (A_{ϵ})\ge 1-e^{-c{ϵ}^2},\exists c>0$$

证明
用$H$表示下半球面：
H = { x = ( x 1 , ⋯   , x n ) ∈ n S n − 1 : x 1 ≤ 0 } H=\{x=(x_1,\cdots,x_n) \in \sqrt{n}S^{n-1}:x_1 \le 0\} H={ x=(x1​,⋯,xn​)∈n ​Sn−1:x1​≤0}

根据$\sigma$的定义，$\sigma (H)=1/2$，引入随机向量$X\sim Unif(\sqrt{n}{S}^{n-1})$，于是
σ ( H ϵ ) = P ( X ∈ H ϵ ) ≥ P ( X ∈ n S n − 1 ∩ { x 1 ≤ ϵ / 2 } ) = P ( X 1 ≤ ϵ / 2 ) ≥ 1 − e − c ϵ 2 , ∃ c > 0 \sigma(H_{\epsilon}) = P(X \in H_{\epsilon}) \ge P(X \in \sqrt{n}S^{n-1} \cap \{x_1 \le \epsilon/\sqrt{2}\}) \\ = P(X_1 \le \epsilon/\sqrt{2}) \ge 1-e^{-c\epsilon^2},\exists c>0 σ(Hϵ​)=P(X∈Hϵ​)≥P(X∈n ​Sn−1∩{ x1​≤ϵ/2 ​})=P(X1​≤ϵ/2 ​)≥1−e−cϵ2,∃c>0

因为$X_1$是亚高斯的。因为$\sigma (A)\ge 1/2$，于是$$\sigma (A_{ϵ})\ge \sigma (H_{ϵ})\ge 1-e^{-c{ϵ}^2}$$

说明
H ϵ = { x ∈ n S n − 1 : ∃ y ∈ H , ∥ x − y ∥ 2 ≤ ϵ } H_{\epsilon}=\{x \in\sqrt{n} S^{n-1}:\exists y \in H,\left\| x-y\right\|_2 \le \epsilon\} Hϵ​={ x∈n ​Sn−1:∃y∈H,∥x−y∥2​≤ϵ}

因为$X$限制在$\sqrt{n}{S}^{n-1}$上，要使$X$与$H$上的点最近距离不超过$ϵ$，一种可行的操作是限制一个坐标使其不超过$ϵ/\sqrt{2}$，于是
H ϵ ⊃ n S n − 1 ∩ { x 1 ≤ ϵ / 2 } H_{\epsilon} \supset \sqrt{n}S^{n-1} \cap \{x_1 \le \epsilon /\sqrt{2}\} Hϵ​⊃n ​Sn−1∩{ x1​≤ϵ/2 ​}

---

下面我们开始证明那个定理：

证明
假设${\Vert f\Vert }_{Lip}=1$，不然我们总是可以分析$f/{\Vert f\Vert }_{Lip}$，

第一步：说明$f(X)-M$是亚高斯的，其中$M$是$f(X)$的中位数，也就是
$$P(f(X)\ge M)\ge 1/2,P(f(X)\le M)\ge 1/2$$

定义
A = { x ∈ n S n − 1 : f ( x ) ≤ M } A = \{x \in \sqrt{n}S^{n-1}:f(x) \le M\} A={ x∈n ​Sn−1:f(x)≤M}

则
$$\sigma (A)=P(X\in A)=P(f(X)\le M)\ge 1/2$$

根据Isoperimetric不等式2，
$$\sigma (A_t)\ge 1-e^{-c{t}^2},\exists c>0$$

因为$x\in A_t$说明$\exists y\in A$, ${\Vert x-y\Vert }_2\le t$，根据Lipschitz函数的定义：
$$f(x)-f(y)\le {\Vert f\Vert }_{Lip}{\Vert x-y\Vert }_2\le t$$

$y\in A$说明$f(y)\le M$，所以
$$f(x)\le f(y)+t\le M+t$$

因此

$$P(f(X)-M\le t)\ge P(X\in A_t)=\sigma (A_t)\ge 1-e^{-c{t}^2}$$

类似地，对于$f(X)-M\ge -t$，我们有
$$P(f(X)-M\ge -t)\ge 1-e^{-c{t}^2}$$

所以
$$P(|f(X)-M|\ge t)\le 2e^{-c{t}^2}$$

第二步：使用centering技巧，假设$X$是亚高斯随机变量，则$X-EX$也是亚高斯随机变量，并且存在常数$C$使得
$${\Vert X-EX\Vert }_{{\psi }_2}\le C{\Vert X\Vert }_{{\psi }_2}$$

因为$f(X)-M$是亚高斯的，于是$f(X)-M-E[f(X)-M]=f(X)-Ef(X)$也是亚高斯的，证毕。