UA MATH567 高维统计IV Lipschitz组合8 随机投影与John-Lindenstrauss引理

John-Lindenstrauss引理

这一讲我们介绍一个Lipschitz函数法处理随机向量的技术的应用。假设在一个机器学习问题中，我们有$N$个样本，每个样本有$n$个feature，但是$n$非常大，直接用这么多feature训练模型不但浪费算力而且影响模型精度，所以我们想做一个投影$P$，把这组$n$维的feature投影到一个$m$维的子空间，我们希望投影前后任意两个样本点的差别不会被放大或者缩小，用数学来描述就是假设$x,y$这两个$n$维向量分别表示一个样本，则给定一个很小的正数$ϵ$，使得
$$(1-ϵ){\Vert x-y\Vert }_2\le {\Vert Px-Py\Vert }_2\le (1+ϵ){\Vert x-y\Vert }_2$$

其中$Px,Py\in {\mathbb{R}}^m$，站在理论机器学习研究者的角度，我们比较关心的一个问题是最小能把feature的维数压缩到多少？J-L引理认为基于Haar测度的随机投影下最小的维数是$O(\ln N)$。

---

John-Lindenstrauss引理
用$\mathcal{X}$表示$N$个样本，$\mathcal{X}\subset {\mathbb{R}}^n$，$\forall ϵ>0$，$\exists C>0$, $\forall m\ge (C/{ϵ}^2)\log N$，如果$E\sim Unif(G_{n,m})$，存在random projection
$$Q=\sqrt{\frac{n}{m}}{P}_E$$

使得下面的事件概率不小于$1-2e^{-c{ϵ}^{2}m}$：
$$(1-ϵ){\Vert x-y\Vert }_2\le {\Vert Qx-Qy\Vert }_2\le (1+ϵ){\Vert x-y\Vert }_2$$

也就是approximate isometry成立。关于Grassman流形上的均匀分布$Unif(G_{n,m})$可以参考上一讲。

Random Projection

在分析J-L引理前，我们先了解一下随机投影。

引理：随机投影的性质
假设$P$是从${\mathbb{R}}^n$到$E$上的投影，其中$E\sim Unif(G_{n,m})$，则$\forall z\in \mathbb{R},ϵ>0$，

1. $\sqrt{E{\Vert Pz\Vert }_2^2}=\sqrt{\frac{m}{n}}{\Vert z\Vert }_2$
2. with probability at least $1-2e^{-c{ϵ}^{2}m}$, $$(1-ϵ)\sqrt{\frac{m}{n}}{\Vert z\Vert }_2\le {\Vert Pz\Vert }_2\le \sqrt{\frac{m}{n}}(1+ϵ){\Vert z\Vert }_2$$

评注
基于这个引理，要说明J-L引理是非常容易的。定义 X − X = { x − y : x , y ∈ X } \mathcal{X}-\mathcal{X} = \{x-y:x,y \in \mathcal{X}\} X−X={ x−y:x,y∈X}

$\forall z\in \mathcal{X}-\mathcal{X}$，with probability at least $1-2e^{-c{ϵ}^{2}m}$, $$(1-ϵ)\sqrt{\frac{m}{n}}{\Vert z\Vert }_2\le {\Vert Pz\Vert }_2\le \sqrt{\frac{m}{n}}(1+ϵ){\Vert z\Vert }_2$$

定义$Q=\sqrt{\frac{n}{m}}P$，则
$$(1-ϵ){\Vert z\Vert }_2\le {\Vert Qz\Vert }_2\le (1+ϵ){\Vert z\Vert }_2$$

要对所有的$z$都成立，则对应的概率至少为
$$1-2|\mathcal{X}-\mathcal{X}|e^{-c{ϵ}^{2}m}\ge 1-2N^2{e}^{-c{ϵ}^{2}m}=1-2e^{\ln N^2-c{ϵ}^{2}m}$$

如果$m\ge (C/{ϵ}^2)\log N$，则
$$1-2e^{\ln N^2-c{ϵ}^{2}m}\ge 1-2e^{(2/C-c){ϵ}^{2}m}$$

换一个常数就是J-L的形式了。

证明
不妨设${\Vert z\Vert }_2=1$，我们要讨论的是$z$为确定的向量，$P$是一个随机投影（with Haar measure），第一条性质要解决的是期望，它等价于把$z$当作$S^{n-1}$上的均匀分布，把$P$当成一个确定的投影，甚至为了简单起见，假设$P$就是一个coordinate map，也就是除了前$m$个坐标外，其他坐标都是0，则$$E{\Vert Pz\Vert }_2^2=E\sum _{i=1}^m{Z}_i^2=\frac{m}{n}$$

定义$f(x)={\Vert Px\Vert }_2$，这是一个Lipschitz范数为1的Lipschitz函数，于是
$$\frac{|f(x)-f(y)|}{{\Vert x-y\Vert }_2}=\frac{|{\Vert Px\Vert }_2-{\Vert Py\Vert }_2|}{{\Vert x-y\Vert }_2}\le \frac{{\Vert P(x-y)\Vert }_2}{{\Vert x-y\Vert }_2}\le 1$$

因为球面分布的Lipschitz函数是亚高斯的，于是
$$P(|{\Vert PX\Vert }_2-E{\Vert PX\Vert }_2|\ge t)\le 2e^{-cn{t}^2}$$

这里指数上有个$n$是因为这个分布是$S^{n-1}$，相比$\sqrt{n}{S}^{n-1}$少了一个scalar，所以在指数上添一个$(\sqrt{n}{)}^2$，另外就是在证明这个结果的时候我们用的是$f(X)-M$是亚高斯的，然后根据centering技巧得到$f(X)-Ef(X)$，这里可以用另一个centering技巧，即$f(X)-\sqrt{Ef(X{)}^2}$也是亚高斯的(事实上可以用任意Lp范数)，于是
$$P(|{\Vert PX\Vert }_2-\sqrt{E{\Vert PX\Vert }_2^2}|\ge t)\le 2e^{-cn{t}^2}$$

取$t=ϵ\sqrt{m/n}$，引理得证。