UA MATH567 高维统计IV Lipschitz组合3 高斯分布的Lipschitz函数

首先我们在欧氏空间$({\mathbb{R}}^n,\mathcal{B}({\mathbb{R}}^n))$上建立高斯概率测度${\gamma }_n$，满足$\forall B\in \mathcal{B}({\mathbb{R}}^n)$，
$${\gamma }_n(B)={\int }_B\frac{1}{(2\pi {)}^{n/2}}{e}^{-\frac{{\Vert x\Vert }_2^2}{2}}dx$$

则$({\mathbb{R}}^n,\mathcal{B}({\mathbb{R}}^n),{\gamma }_n)$成为一个概率空间。

Gaussian Isoperimetric不等式 $\forall ϵ>0$，$\underset{A\in \mathcal{B}({\mathbb{R}}^n)}{\mathrm{argmin}}{\gamma }_n(A_{ϵ})$是一个half space。这里半空间指的是
{ x = ( x 1 , ⋯   , x n ) ∈ R n : ∃ i ∈ { 1 , ⋯   , n } , x i ≤ c , c ∈ R } \{x = (x_1,\cdots,x_n) \in \mathbb{R}^n:\exists i \in \{1,\cdots,n\},x_i \le c,c \in \mathbb{R}\} { x=(x1​,⋯,xn​)∈Rn:∃i∈{ 1,⋯,n},xi​≤c,c∈R}

并且如果${\gamma }_n(A)\ge 1/2$，则$\gamma (A_t)\ge 1-e^{-c{t}^2},\exists c>0$。

证明
我们简单讨论一下并且之后的一段。

用$H$表示一个半空间：
{ x = ( x 1 , ⋯   , x n ) ∈ R n : x 1 ≤ 0 } \{x = (x_1,\cdots,x_n) \in \mathbb{R}^n:x_1\le 0\} { x=(x1​,⋯,xn​)∈Rn:x1​≤0}

则${\gamma }_n(H)=1/2$，于是
$${\gamma }_n(H_t)=P(X\in H_t)=P(X_1\le t)\ge 1-e^{-t^2/2}$$

这是标准正态分布的tail bound。如果${\gamma }_n(A)\ge 1/2$，显然
$$\gamma (A_t)\ge \gamma (H_t)\ge 1-e^{-t^2/2}$$

---

Gaussian concentration不等式
$X\sim N(0,I_n)$，$f:{\mathbb{R}}^n\to \mathbb{R}$是一个Lipschitz函数，则
$${\Vert f(X)-Ef(X)\Vert }_{{\psi }_2}\le C{\Vert f\Vert }_{Lip}$$

证明
这个不等式的证明技术与上一讲的球面分布的Lipschitz函数一样，先说明$f(X)-M$是亚高斯的，然后用centering技巧得到结论。假设${\Vert f\Vert }_{Lip}=1$，不然我们总是可以分析$f/{\Vert f\Vert }_{Lip}$，

第一步：$f(X)-M$是亚高斯的，其中$M$是$f(X)$的中位数，也就是
$$P(f(X)\ge M)\ge 1/2,P(f(X)\le M)\ge 1/2$$

定义
A = { x ∈ R n : f ( x ) ≤ M } A = \{x \in \mathbb{R}^n:f(x) \le M\} A={ x∈Rn:f(x)≤M}

则
$$\sigma (A)=P(X\in A)=P(f(X)\le M)\ge 1/2$$

根据Gaussian Isoperimetric不等式，
$${\gamma }_n(A_t)\ge 1-e^{-t^2/2}$$

因为$x\in A_t$说明$\exists y\in A$, ${\Vert x-y\Vert }_2\le t$，根据Lipschitz函数的定义：
$$f(x)-f(y)\le {\Vert f\Vert }_{Lip}{\Vert x-y\Vert }_2\le t$$

$y\in A$说明$f(y)\le M$，所以
$$f(x)\le f(y)+t\le M+t$$

因此

$$P(f(X)-M\le t)\ge P(X\in A_t)=\sigma (A_t)\ge 1-e^{-t^2/2}$$

类似地，对于$f(X)-M\ge -t$，我们有
$$P(f(X)-M\ge -t)\ge 1-e^{-t^2/2}$$

所以
$$P(|f(X)-M|\ge t)\le 2e^{-t^2/2}$$

第二步：使用centering技巧，假设$X$是亚高斯随机变量，则$X-EX$也是亚高斯随机变量，并且存在常数$C$使得
$${\Vert X-EX\Vert }_{{\psi }_2}\le C{\Vert X\Vert }_{{\psi }_2}$$

因为$f(X)-M$是亚高斯的，于是$f(X)-M-E[f(X)-M]=f(X)-Ef(X)$也是亚高斯的，证毕。