题目
To learn image super-resolution, use a GAN to learn how to do image degradation first
要想学习图像超分辨率，首先用一个GAN来学习如何做图像降级
摘要
本文是关于图像和人脸超分辨率的研究。对于这一问题，先前的绝大多数工作都集中在如何提高低分辨率图像的分辨率上，这些低分辨率图像时通过简单的双线性下采样（或者在少数情况下通过模糊然后下采样）人工合成的。我们发现，当应用于真实世界中的低分辨率、低质量的图像时，这些方法并不能产生良好的效果。为了避免这个问题，我们提出了一个两阶段过程，首先训练一个从高到低的生成式对抗网络来学习如何在训练过程中只需要未配对的高分辨率图像和低分辨率图像来降级和下采样高分辨率图像。一旦实现了这一点，这个网络的输出就被用来训练从低到高的GAN，以使用这次配对的低分辨率和高分辨率图像来实现图像超分辨率。我们的主要结果是，这种网络现在可以用来有效地提高真实世界低分辨率图像的质量。我们已经将所提出的流水线应用于人脸超分辨率问题，其中我们报告了相对于基线与先前工作的巨大改进，尽管所提出的方法可能适用于其他对象类别。
引言
在进行真实世界的图像超分辨率时，需要考虑一大堆干扰因素，包括模糊（例如运动或散焦）、压缩伪影、颜色和传感器噪声。这些有害因素通常是未知的（例如运动模糊），有时很难有效建模（例如多重退化的情况）。如果真实的图像退化模型与假设和建模的模型不同，这不避免地会导致测试期间性能不佳。为了缓解这种情况，在本文中我们建议使用从高到低的生成对抗网络来学习它，而不是尝试对图像退化过程进行建模。值得注意的是，所提出的网络在训练期间使用未配对的图像数据，因此它不需要成对的低分辨率和高分辨率图像，而只需要两组不相关的低分辨率和高分辨率，没有对应关系。一旦实现这一点，我们就可以使用high-to-low的GAN来“真实地”降级和下采样高分辨率图像，并使用这些图像作为输入来学习“配对”图像设置下的超分辨率。
方法
High-to-Low 生成器采用的类似于SRGAN中的架构。主要区别在于第一层将HR图像作输入，并于投影的噪声向量连接，然后用全连接层重塑。因为这个问题是一对多的，即HR图像可以有多个对应的LR图像，因为它可能收到来自不同来源的多种类型噪声的影响，并以不同的数量和方式应用。
High-to-Low 辨别器采用了是ResNet架构，包括6个残差块。
High-to-Low 网络的生成器和鉴别器网络使用总损失进行训练，总损失是GAN和L2像素损失的组合。
Low-to-High 生成器由分布在三个组中的17个残差块组成，每个组都有一个跳跃连接，连接组内的第一个和最后一个块。由于样本多样性已经在前一阶段借助High-to-Low输入中使用的噪声向量获得，这一阶段没有使用额外的噪声向量。
Low-to-High 鉴别器与High-to-Low中使用的鉴别器相同，只是添加了两个新的最大池化层以使用分辨率的增加。
Low-to-High 损失与High-to-Low中使用的损失相同。
实验
