数据降维(二)多维缩放MDS

多维缩放MDS

多维缩放(Multiple Dimensional Scaling，MDS)
问题形式化：

• 给定空间中任意两个点的距离(pairwise distances ), 点的精确坐标和维度是未知的.
• 我们希望将这些点嵌入到一个低维的空间中，使得新的空间中点对之间的距离和原始空间中的距离尽可能接近.
  基本思想：
  $d'$空间的欧式距离等于原始空间的欧式距离
  $||z_i - z_j|| = dist_{ij},dist{ij} = D_{ij}$

推导

令 $B=Z^TZ\in R^{m\times m}, b_{ij}=z_i^Tz_j$
$dist_{ij}^2 = ||z_i||^2 + ||z_j||^2 - 2z_i^Tz_j = b_{ii} + b_{jj} - 2b_{ij}$
假定 $Z$已经标准化(中心为0), $\sum_{i=1}^mz_i=0$，用 $D$表示 $B$.

$\begin{aligned} b_{ij} &= - \frac{1}{2}(dist_{ij}^2-b_{ii} - b_{jj})\\ &= - \frac{1}{2}(dist_{ij}^2-\frac{1}{m}\Big(\sum_{j=1}^mdist_{ij}^2 - tr(B)\Big) - \frac{1}{m}\Big(\sum_{i=1}{m}dist_{ij}^2 - tr(B)\Big))\\ & = - \frac{1}{2}\Big(dist_{ij}^2-\frac{1}{m}\sum_{j=1}^mdist_{ij}^2 - \frac{1}{m}\sum_{i=1}^{m}dist_{ij}^2 + \frac{2}{m}tr(B)\Big)\\ & = - \frac{1}{2}\Big(dist_{ij}^2-\frac{1}{m}\sum_{j=1}^mdist_{ij}^2 - \frac{1}{m}\sum_{i=1}^{m}dist_{ij}^2 + \frac{1}{m^2}\sum_{i=1}^m\sum_{j=1}^mdist_{ij}^2\Big)\\ & = - \frac{1}{2}(dist_{ij}^2 -dist_{i\cdot}^2 - dist_{j\cdot}^2 + dist_{\cdot\cdot}^2) \end{aligned}$

对 $B$做特征值分解
$B = V\Sigma V^T$
$\Sigma = diag(\lambda_1,\lambda_2\dots\lambda_d)$
$\Sigma_* = diga(\lambda_1,\lambda_2\dots\lambda_{d^*}), \lambda_1>\lambda_2>\cdots\lambda_{d^*}>0$
$V_*$是对应的特征向量组成的矩阵，那么
$Z = \Sigma_*^{1/2}V_*^T \in R^{d^*\times m}$
实际上，我们使用 $d'\ll d$特征值矩阵 $\tilde{\Sigma} = diag(\lambda_1,\lambda_2\dots\lambda_{d'})$
$Z = \tilde{\Sigma}^{1/2}\tilde{V}^T\in R^{d'\times m}$

MDS算法过程

输入：距离矩阵 $D\in R^{m\times m}$，低维空间维度 $d'$

算法过程：

• $dist_{i\cdot}^2, dist_{\cdot j}^2, dist_{\cdot \cdot}^2$
• 计算 $B = (b_{ij})$
• 对 $B$做特征值分解
• $\tilde{\Sigma}$是包含 $d'$最大特征值的对角矩阵， $\tilde{V}$是特征向量组成的矩阵.

输出： $\tilde{\Sigma}^{1/2}\tilde{V}^T \in R^{d'\times m}$