转自：https://www.cnblogs.com/wxl845235800/p/9292972.html
图像超分辨率率(super resolution,SR)是指由一幅低分辨率图像(low resolution,LR)或图像序列恢复出高分辨率图像(high resolution,HR)。HR意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。要获得高分辨率图像，最直接的办法是采用高分辨率图像传感器，但由于传感器和光学器件制造工艺和成本的限制，在很多场合和大规模部署中很难实现。因此，利用现有的设备，通过超分辨率技术获取HR图像具有重要的现实意义。
图像分辨率的概念
图像分辨率泛指成像或显示系统对细节的分辨能力，代表图像中存储的信息量。
指图像中存储的信息量，是每英寸图像内有多少个像素点，分辨率的单位为PPI(Pixels Per Inch)，通常叫做：像素每英寸。
图片的大小由像素的多少决定，分辨率是单位密度，同量像素图片的分辨率越高，面积越小。
一般情况下，图像分辨率越高，图像中包含的细节越多，信息量也越大。图像分辨率分为空间分辨率和时间分辨率。通常，分辨率被表示成每一个方向上的像素数量，例如64*64的二维图像。但是，分辨率的高低并不等同于像素数量的多少，例如一个通过插值放大了5倍的图像并不表示它包含的细节增加了多少。图像超分辨率重建关注的是恢复图像中丢失的细节，即高频信息。
超分辨问题的分类
超分辨率图像重建 (Super resolution image reconstruction, SRIR 或 SR) 是指用信号处理和图像处理的方法,通过软件算法的方式将已有的低分辨率 (Low-resolution, LR) 图像转换成高分辨率(High-resolution, HR)图像的技术
概括而言,按算法的输入输出的不同类型组合,超分辨率问题可以分为几类子问题,见图1.输入为低分辨率图像序列(视频),输出为单帧高分辨率图像的超分辨率问题,称为基于重建的超分辨率问题(Reconstruction-based super-resolution);输入与输出均为图像序列(视频)的超分辨率问题,称为视频超分辨率问题(Video super-resolution);输入与输出均为单帧图像的超分辨率问题,称为单帧图像超分辨率问题(Single image super resolution,SISR).根据是否依赖训练样本,超分辨率问题又可以分为增强边缘的超分辨率问题(Edge-focused super-resolution) (无训练样本)与基于学习的超分辨率问题(Learning-based superresolution) (有训练样本)两种.对于输入为单帧低分辨率图像,输出为图像序列 (视频)的问题,由于其缺失的信息太多,研究的实际意义不大,几乎没有相关的研究。
单幅图像的超分辨
基于学习的单帧超分辨率问题是近年来研究的一个热点,又称为图像幻感 (Image hallucination)或基于样例(Example-based) 的超分辨率, 它通过机器学习方法从训练样本集中提取所需的高频信息模型,从而对未知测试样本的所需信息进行预测,达到提高图像分辨率的目的, 参见图 5. 大部分的基于学习的超分辨率方法都是基于分块(Patch-based)的,目标图像平面被分成小的图像块, 通过计算求取低分辨率图像块所对应的高分辨率图像块.
基于学习的超分辨率算法相关的核心问题主要有两个部分: 算法模型的建立和训练集合的选取.
历史上采用的超分辨的算法：最近邻搜索-马尔科夫随机场 (MRF)-邻域嵌入
（一）国外研究现状
超分辨率概念最早出现在光学领域。在该领域中，超分辨率是指试图复原衍射极限以外数据的过程。Toraldo di Francia在1955年的雷达文献中关于光学成像第一次提出了超分辨率的概念。复原的概念最早是由J.L.Harris和J.w.Goodman分别于1964年和1965年提出一种称为Harris-Goodman频谱外推的方法。这些算法在某些假设条件下得到较好的仿真结果，但实际应用中效果并不理想。Tsai&Huang首先提出了基于序列或多帧图像的超分辨率重建问题。1982，D.C.C.Youla和H.Webb在总结前人的基础上，提出了凸集投影图像复原(Pocs)方法。1986年，S.E.Meinel提出了服从泊松分布的最大似然复原(泊松-ML)方法。1991年和1992年，B.R.Hunt和PJ.Sementilli在Bayes分析的基础上，提出了泊松最大后验概率复原(泊松-MAP)方法，并于1993年对超分辨率的定义和特性进行了分析，提出了图像超分辨率的能力取决于物体的空间限制、噪声和采样间隔。
近年来，图像超分辨率研究比较活跃，美国加州大学Milanfar等人提出的大量实用超分辨率图像复原算法， Chan等人从总变差正则方面，Zhao等人、Nagy等人从数学方法、多帧图像的去卷积和彩色图像的超分辨率增强方面，对超分辨率图像恢复进行了研究。Chan等人研究了超分辨率图像恢复的预处理迭代算法。此外，Elad等人对包含任意图像运动的超分辨率恢复进行了研究；Rajan和Wood等人分别从物理学和成像透镜散射的角度提出了新的超分辨率图像恢复方法；韩国Pohang理工大学对各向异性扩散用于超分辨率。Chung-Ang图像科学和多媒体与电影学院在基于融合的自适应正则超分辨率方面分别进行了研究。Yang等人提出了使用图形块的稀疏表示来实现超分辨率。他们从一些高分辨率图像中随机选取一些块组成一个过完备的词典，接着对于每一个测试块，通过线性规划的方法求得该测试块在这个过完备的词典下的稀疏表示，最后以这组系数加权重构出高分辨率的图像，这种方法克服了邻域嵌入方法中对于邻域大小的选择问题，即在求解稀疏表示的时候，无需指定重构所需要基的个数，其表示系数和基的个数将同时通过线性规划求解得到。然而，目前该方法的缺陷就在于过完备词典的选择，随机的选择只能实现特定领域的图像的超分辨率，对于通用图像的超分辨率效果较差。
（二）国内研究现状
国内许多科研院所和大学等对超分辨率图像恢复进行研究，其中部分是关于频谱外推、混叠效应的消除，其他主要是对国外超分辨率方法所进行的改进，包括对POCS算法和MAP算法的改进，对超分辨率插值方法的改进，基于小波域隐马尔可夫树(HMT)模型对彩色图像超分辨率方法的改进以及对超分辨率图像重构方法的改进。
2016年香港中文大学Dong等人将卷积神经网络应用于单张图像超分辨率重建上完成了深度学习在图像超分辨率重建问题的开山之作SRCNN(Super-Resolution Convolutional Neural Network)。SRCNN将深度学习与传统稀疏编码之间的关系作为依据，将3层网络划分为图像块提取(Patch extraction and representation)、非线性映射(Non-linear mapping)以及最终的重建(Reconstruction)。重建效果远远优于其他传统算法，利用SRCNN进行超分辨率图像重建与使用其他方法进行超分辨率重建的效果对比图如下图1所示。
图1 SRCNN图像重建与其他重建方式效果对比图
Learning a Deep Convolutional Network for Image Super-Resolution http://mmlab.ie.cuhk.edu.hk/projects/SRCNN.html
论文：
Learning a Deep Convolutional Network for Image Super-Resolution