UA MATH567 高维统计IV Lipschitz组合11 社区发现 Spectral Clustering容许的最大随机噪声

社区发现的Spectral Clustering算法复习

我们在上一部分介绍随机矩阵的时候介绍了stochastic blocking model以及community detection的spectral clustering算法。

假设这个网络有$n$个节点，网络中有两个社区，它们的规模相当，各拥有$n/2$个节点，记这两个社区为$C_1,C_2$，我们用$G(n,p,q)$表示这个随机网络，其中$p$表示某条边连接的两个点属于同一个社区的概率，$q$表示某条边连接的两个点属于不同社区的概率，假设$p>q$，用$A$表示这个网络的伴随矩阵，显然它是一个随机矩阵，
$$\begin{gathered} P(A_{ij}=1|i,j\in C_{1}ori,j\in C_2)=p \\ P(A_{ij}=1|i\in C_1,j\in C_{2}ori\in C_2,j\in C_1)=q \end{gathered}$$

我们可以将$A$分解为它的期望与残差矩阵：
$$A=E[A]+R$$

Community detection in networks的目标是给定一个某个随机矩阵的样本数据集，要还原随机矩阵的期望的特征向量，下面是Spectral clustering的算法描述：

我们在上部分第八讲用Davis-Kahan定理说明了它的理论性质：考虑随机网络$G(n,p,q)$，如果$\min (q,p-q)=\mu >0$，则$\exists c>0$，Spectral Clustering最多搞错$c/{\mu }^2$个节点的概率至少是$1-4e^{-n}$。这个结论的条件是
$$\Vert D\Vert \sim n,P(\Vert R\Vert =O(\sqrt{n}))\ge 1-4e^{-n}$$

---

用矩阵Bernstein不等式推导Spectral Clustering的理论性质

注意到$\Vert D\Vert =(p+q)n/2\ge \mu n$，所以之前得到的结果需要的条件是
$$\mu n>>O(\sqrt{n})$$

也就是$\Vert D\Vert >>n$，但是用矩阵Bernstein不等式，我们可以把这个条件弱化为$\Vert D\Vert >>\log n$。

记$d=\Vert D\Vert$，定义$A={\sum }_{1\le i<j\le n}{Z}_{ij}$，其中$Z_{ij}$是$n\times n$的矩阵，除了$(i,j)$与$(j,i)$这两个位置为Bernoulli变量外，其他位置均为0，我们可以说明
$$E\Vert R\Vert =E\Vert A-EA\Vert \lesssim \sqrt{d\log n}+\log n$$

证明思路
$$R=A-EA=\sum _{1\le i<j\le n}(Z_{ij}-E{Z}_{ij})$$

这里的$Z_{ij}-E{Z}_{ij}$是有界（算子范数小于1）、独立、零均值、对称的随机变量，计算
$${\sigma }^2=\Vert \sum E(Z_{ij}-E{Z}_{ij}{)}^2\Vert \approx d$$

根据矩阵Bernstein不等式的推论

$$E\Vert R\Vert \lesssim \sigma \sqrt{\log n}+\log n$$