UA MATH567 高维统计III 随机矩阵8 社区发现 Spectral Clustering的理论分析

上一讲我们完成了Stochastic Block Model与社区发现问题的建模，并描述了目标：Community detection in networks的目标是给定一个某个随机矩阵的样本数据集，要还原随机矩阵的期望的特征向量。同时我们明确了算法分析的基本方法是摄动方法，这里描述一个大致思路：

我们对社区发现算法进行理论分析的目的是说明这样的算法能够提供一个一致的、误差可以被控制的输出，也就是要说明算法还原出来的特征向量（算法输出）与随机矩阵期望的特征向量（理论结果）之差的范数足够小，在理论分析的时候，我们可以认为算法与理论的区别在于算法计算特征向量时用的是带噪声的数据，因此我们需要能分析矩阵噪声对特征值的影响的工具，于是我们选择了摄动方法。

---

Davis-Kahan定理 假设$S,T$是对称矩阵，假设${\min }_{j\ne i}|{\lambda }_i(S)-{\lambda }_j(S)|=\delta >0$，用$v_i(S)$表示矩阵$S$的第$i$个特征值对应的标准化的特征向量，用${\theta }_i(S,T)$表示矩阵$S,T$的第$i$个特征值对应的特征向量形成的夹角，则
$$\sin {\theta }_i(S,T)\le \frac{2\Vert S-T\Vert }{\delta }$$

评注
i) 虽然这个结果看起来只能说明当$S,T$两个矩阵相差不大时，它们的特征向量的夹角也不大，但我们可以进一步得到它们特征向量之差的范数的结果：

因为${\theta }_i(S,T)\in [0,\pi /2]$，于是
$$1\le \frac{{\Vert v_i(S)-v_i(T)\Vert }_2}{\sin {\theta }_i(S,T)}\le \sqrt{2}$$

所以
$${\Vert v_i(S)-v_i(T)\Vert }_2\le \frac{2\sqrt{2}\Vert S-T\Vert }{\delta }$$

---

Spectral Clustering
假设我们使用Spectral Clustering来做Community detection in networks，根据上一讲的简单分析：

如果$A$表示一个随机网络，计算它的$v_2(A)$，则$v_2(A)$的某个元素的符号表示对应节点所属的社区。

定理 考虑随机网络$G(n,p,q)$，如果$\min (q,p-q)=\mu >0$，则$\exists c>0$，Spectral Clustering最多搞错$c/{\mu }^2$个节点的概率至少是$1-4e^{-n}$。

证明
用$A$表示这个随机网络的伴随矩阵，做分解
$$A=D+R$$

其中$D$是一个不含随机性的矩阵，$rankD=2$, $\Vert D\Vert ={\lambda }_1=\frac{(p+q)n}{2}$并且${\lambda }_2=\frac{(p-q)n}{2}$；$$P(\Vert R\Vert \le 2CK\sqrt{n})\ge 1-4e^{-n}$$

记$\delta =\min ({\lambda }_1-{\lambda }_2,{\lambda }_2)=n\mu >0$，于是我们可以使用Davis-Kahan定理以及上面这个概率不等式：$\exists C^{\prime }>0$
$${\Vert v_2(D)-v_2(A)\Vert }_2\le \frac{2\sqrt{2}{C}^{\prime }\sqrt{n}}{\mu n}$$

这个不等式成立的概率是$1-e^{-4n}$，要考虑搞错的节点个数，需要考虑$\sqrt{n}$乘以特征向量，于是
$$\begin{gathered} \sqrt{n}{\Vert v_2(D)-v_2(A)\Vert }_2\le \frac{2\sqrt{2}{C}^{\prime }}{\mu } \\ \sqrt{n}{\Vert v_2(D)-v_2(A)\Vert }_2^2\le \frac{8C^{\prime 2}}{{\mu }^2} \end{gathered}$$

记$c=8C^{\prime 2}$，则定理得证。