题目：Supervised Pixel-Wise GAN for FaceSuper-Resolution
中文：受监督的Pixel-Wise GAN 对于人脸超分辨
摘要
- 对于许多与面部有关的多媒体应用，低分辨率的面部图像可能会大大降低面部识别性能，并需要面部超分辨率（SR）。在当前的SR方法中，
面向MSE的SR方法通常会产生过度平滑的输出，并且可能会丢失一些纹理细节，而面向GAN的SR方法可能会生成对面部识别有害的伪影。为了解决上述问题，本文提出了一种有监督的逐像素生成对抗网络（SPGAN），该网络可以将分辨率很低的16X16或更小像素大小的人脸图像解析为更大的多个缩放因子版本（2X，4X，8X甚至是16倍）。与传统的非监督式鉴别器不同，后者生成一个数字来表示输入图像是真实的还是伪造的，拟议的监督式像素鉴别器主要关注生成的SR人脸图像的每个像素是否像其真实感一样真实。真实的HR（高分辨率）人脸图像中的相应像素。为了进一步提高SPGAN的人脸识别性能，我们先通过将两个输入发送到鉴别器来利用人脸身份，其中包括输入人脸图像（真实的HR人脸图像或其对应的SR人脸图像）及其人脸特征，从预先训练的面部识别模型中提取。由于事先引入了面部识别，基于身份的鉴别器可以更加注意与面部识别密切相关的纹理细节。大量实验表明，与某些最新方法相比，提出的SPGAN可以实现更多逼真的SR图像和更高的面部识别精度。
背景：面向MSE的SR方法通常会产生过度平滑的输出，并且可能会丢失一些纹理细节
，而面向GAN的SR方法可能会生成对面部识别有害的伪影。
方法：鉴别器主要关注生成的SR人脸图像的每个像素是否像其真实感一样真实。加入人脸识别模块
结论：与某些最新方法相比，提出的SPGAN可以实现更多逼真的SR图像和更高的面部识别精度
引言
- 现在，我们简要总结一下本文的主要工作如下：
- 1）监督式逐像素GAN架构：提出了一种新颖的监督式逐象GAN架构，以重建更多具有真实感的SR人脸图像。
- 2）基于身份的鉴别器：人脸识别先验引入鉴别器中，该鉴别器将高分辨率（真实HR或SR）人脸图像及其从预先训练的人脸识别模型中提取的特征图作为输入。
图1.传统GAN与我们监督的Pixel-Wise GAN的比较
图2提出的鉴别器的架构对于所有卷积层，内核大小为3×3，步幅为1，通道大小为每一层标记的数字。鉴别器的输入是双三次上采样的LR输入面部图像和HR（或SR）面部图像的通道级联。鉴别器的输出是与输入面部图像大小相同的按像素的鉴别矩阵，其用于计算监督的按像素的鉴别差Dsp（x，y）。基于身份的鉴别器将输入图像及其由预先训练的面部识别网络提取的特征图作为两个输入。提取的特征图也用于计算感知损失
图5.像素级MSE损失和像素级对抗性损失的组合，其中SR和HR面部图像的判别矩阵的差异用作关注图。
图6.各种输入分辨率（8×8、16×16和32×32）的结果。对于每个输入分辨率，第一行由RDN [8]生成，第二行由我们的方法
图7.16×16具有8倍放大系数的输入人脸图像。不同的损失功能导致不同的视觉质量。不同的列显示了受不同损失函数影响的结果。我们的SPGAN具有最佳的视觉质量。 SPGAN的参数设置为ass = 0，b = 1
图9，通过16倍输入图像和16倍输入图像的8倍超分辨率与最先进方法的比较
结论
- 提出了一种新的有监督像素级人脸图像超分辨率检测框架。提出了一种
有监督的逐像素对抗损失函数，用于捕获SR人脸图像与其对应HR人脸图像的逐像素差异。设计了一种基于身份的识别网络结构，将身份先验引入到人脸超分辨率中。由于GAN强大的学习能力和识别优先级的引入，我们的超分辨率方法可以处理非常小的人脸图像。实验结果表明，该方法能显著提高SR人脸图像的识别精度和视觉质量。