UA MATH567 高维统计III 随机矩阵7 亚高斯矩阵的应用：Stochastic Block Model与社区发现 问题描述

我们来介绍亚高斯矩阵的一个应用：评估社区发现算法的效率。Community detection in networks是一个比较重要的非监督学习问题，这一讲我们用Stochastic Block Model (SBM)来描述一个网络：

假设这个网络有$n$个节点，网络中有两个社区，它们的规模相当，各拥有$n/2$个节点，记这两个社区为$C_1,C_2$，我们用$G(n,p,q)$表示这个随机网络，其中$p$表示某条边连接的两个点属于同一个社区的概率，$q$表示某条边连接的两个点属于不同社区的概率，假设$p>q$，用$A$表示这个网络的伴随矩阵，显然它是一个随机矩阵，
$$\begin{gathered} P(A_{ij}=1|i,j\in C_{1}ori,j\in C_2)=p \\ P(A_{ij}=1|i\in C_1,j\in C_{2}ori\in C_2,j\in C_1)=q \end{gathered}$$

Community detection in networks试图回答的问题是寻找一种分割：
C 1 ⊔ C 2 = { 1 , 2 , ⋯   , n } C_1 \sqcup C_2 = \{1,2,\cdots,n\} C1​⊔C2​={ 1,2,⋯,n}

使得$C_1,C_2$分别包含两个不同社区中的节点。

---

简单分析

我们可以将$A$分解为它的期望与残差矩阵：
$$A=E[A]+R$$

其中
$$E[A]=\left[\begin{array}{cc}\stackrel{C_1}{\overbrace{p\cdots p}}& \stackrel{C_2}{\overbrace{q\cdots q}}\\ p\cdots p& q\cdots q\\ q\cdots q& p\cdots p\\ q\cdots q& p\cdots p\end{array}\right]$$

不妨假设$n$是一个偶数，显然$rankE[A]=2$，它有两个特征值与对应的特征向量：$$\begin{gathered} {\lambda }_1=\frac{n(p+q)}{2},{\lambda }_2=\frac{n(p-q)}{2} \\ {u}_1=\frac{1}{\sqrt{n}}\left[\begin{array}{c}1\\ 1\\ \cdots \\ 1\\ 1\end{array}\right],u_2=\frac{1}{\sqrt{n}}\left[\begin{array}{c}1\\ 1\\ \cdots \\ -1\\ -1\end{array}\right] \end{gathered}$$

其中$u_2$有$n/2$个$1$，$n/2$个$-1$，$u_2$是一个非常重要的值，对于一般情况，如果一个随机网络中有两个社区，那么它的期望的$u_2$的符号可以指示节点的社区。于是Community detection in networks的目标是给定一个某个随机矩阵的样本数据集，要还原随机矩阵的期望的特征向量。

在一般情况下，我们无法算出$E[A]$，但我们可以对$A$做类似的分解：
$$A=D+R$$

其中$D$表示确定性的部分，$R$代表随机性，假设$R$是亚高斯矩阵，则
$$\begin{gathered} \Vert D\Vert ={\lambda }_1\sim n \\ P(\Vert R\Vert \le CK(\sqrt{n}+t))\ge 1-4e^{-t^2} \end{gathered}$$

这说明signal $D$比噪声$R$更强得多，比如取$t=\sqrt{n}$，则
$$P(\Vert R\Vert \le 2CK\sqrt{n})\ge 1-4e^{-n}$$

显然$\Vert D\Vert$的阶比$\Vert R\Vert$大，接下来我们要做的分析是这个随机噪声会对社区发现的结果造成怎样的影响。

---

摄动方法(perturbation method)
研究一个小噪声矩阵对确定性矩阵的影响，我们可以使用摄动方法，下面先介绍一些需要的结论：

Weyl不等式 对于任意两个矩阵$S,T$
$$\underset{i}{\max }|{\lambda }_i(S)-{\lambda }_i(T)|\le \Vert S-T\Vert$$

证明
$\forall x\in S^{n-1}$，根据三角不等式，
$${\Vert Sx\Vert }_2\le {\Vert Tx\Vert }_2+{\Vert (S-T)x\Vert }_2\le {\Vert Tx\Vert }_2+\Vert S-T\Vert$$

根据Courant-Fischer minimax定理
$$\begin{gathered} {\lambda }_i(S)=\underset{dimE=i}{\max }\underset{x\in S(E)}{\min }{\Vert Sx\Vert }_2 \\ \le \underset{dimE=i}{\max }\underset{x\in S(E)}{\min }{\Vert Tx\Vert }_2+\Vert S-T\Vert \le {\lambda }_i(T)+\Vert S-T\Vert \\ \Rightarrow {\lambda }_i(S)-{\lambda }_i(T)\le \Vert S-T\Vert \end{gathered}$$

类似地，
$${\lambda }_i(T)-{\lambda }_i(S)\le \Vert S-T\Vert$$