A Graph Regularized Deep Neural Network for Unsupervised Image Representation Learning

GR-DNN由一个编码器两个解码器组成，编码器输入入转化为低维码，第一个数据解码器重建原始输入，作者引入了一个图解码器，通过重构来明确强化内部几何结构。

Introduction

为了捕获高级语义和避免学习琐碎的次有函数，正则化DAE保证输入的信息，重构成本加入了正则化项

正则化包括代码的稀疏性，噪声输入的鲁棒性和输入信号的不敏感性。

主要优势

提出了一种图正则化的深度神经网络，以有效的利用具有局部不变的无监督图像表示学习的理论
通过可靠地理论分析，引入了深度结构化的图正则化器。与传统的图拉普拉斯正则化器相比，实现了较低的计算复杂度和较好地学习性能

方法

GR-DNN由一个编码器和两个解码器组成，编码器的作用旨在将输入数据降维，data-decoder重构原始输入。作者引进了一个graph-decoder通过重构相似矩阵S强化内部的几何结构。这两个decoder凭借着中间的瓶颈层连接，损失函数是双路径重建误差的加权和。

相比于GR-DNN,denoising DAE和contractive DAE，它们通过强制学习代码的鲁棒性和不敏感性实现捕获输入数据空间的局部流形结构，而GR-DNN在相似图上执行affinity传播直接编码潜在的流形结构，以更准确的捕获几何信息。

实施细节

Anchor Graph

传统意义上，相似图不能直接应用大规模数据。在GR-DNN中，K-NN 相似矩阵 $S\epsilon R^{n\times n}$ 为n个数据样本：[ $s_{_{1}}$ ,..., $s_{n}$ ],每一个样本是n维输入数据向量这表明DAE输入和输出层量取决于数据量n,考虑到这一点作者采用了有效地近似的方法用构建AG图来代替。关键是用代表性地锚点去近似图的结构。然后作者在原始数据点{ $x_{1}$ , $x_{2}$ ,..., $x_{n}$ }和锚点{ $a_{1}$ , $a_{2}$ ,..., $a_{N_{a}}$ }构造K-NN图 $S\dot{^}\epsilon R^{n\times N_{a} }$ ,结果输入层和输出层的大小被固定为Na.