论文笔记:图像内部统计对SR的启发

为了督促自己看论文，写代码，同时记录并整理下自己的学习，每天的收获都会发在自己的CSDN博客上。

今天阅读的是一篇2011年CVPR的论文Internal Statistics of a Single Natural Image，我把它翻译为单个自然图像的内部统计，以这篇笔记记录我的收获和启发。

论文地址：
http://www.wisdom.weizmann.ac.il/~vision/SingleImageStatistics.html
zssr论文地址：
http://www.wisdom.weizmann.ac.il/~vision/zssr/

为什么是2011

因为一直学习的是超分辨率的问题，看到了一篇2018年CVPR上一篇论文
“Zero-Shot” Super-Resolution using Deep Internal Learning
简单的说就是利用单个图像的内部统计来进行SR，由于缺乏对图片内部统计的了解，在引用中找到了这篇2011年的论文，因此我在阅读这篇文章的时候也是带着解决SR问题的思路出发的。

概述(personally)

在CV问题上，我们处理的方式很多都是利用庞大的数据集来获取数据(external statistics),并作为非约束性问题的先验，这个需要大量的数据集和计算。但是事实上在单个图片中，类似的内部数据会反复出现很多次，因此图片的内部统计对于一个图片来说是至关重要的，而这一点也已经运用在了一些应用中，这篇论文所给出的，是一个关于补丁(patch)，空间距离(dist)，梯度(gradient)的函数，这个函数可以预估一个patch在其他地方出现的概率，文中以密度(density)，和NN来表征。把这个函数应用于某些现(2011)有的算法上时，会取得更好的结果。

内部统计数据量化

其中的数学原理和计算就不过多阐述，比较关键一个就是关于NN,dist和|grad|的函数，可以根据给定的dist和|grad|计算出NN的值。
其中NN可以理解为某一个区域内，patch出现的次数
具体可以在论文中查看。

这篇论文的启发

在深度学习的SR问题上，我们要训练的网络，是一个从低分辨率图像到高分辨率图像的映射。在一般的方法上，采用把HR图像缩小作为输入或者把LR图像放大来作为label，为了完成这个映射，需要大量的数据集和很深的网络架构，现在的运算速度够快，数据集也够多，所以这样的SR也可行。但是仍然存在着一些问题。
就像论文中所谈及的，一个图片内部很多数据其实是重复的，如果我能利用图像的内部统计而不是从一个大数据集中学习，将是非常高效的。同时，使用外部统计也会导致一些伪像的生成。
ZSSR就是沿着这篇论文的思路，用一个简单的八层卷积网络实现了对单一图片的SR。
在这篇论文和ZSSR那篇论文中共同提出的问题就是，我们只使用一张图片来学习映射，的确充分利用到了内部统计，但是这全是局部的，有些高梯度的patch在某个局部是孤立的，导致误差会比较高。同时小块的紧凑表示无法捕捉到整个图片的统计，甚至还会破坏内部的紧凑表示。如何把外部统计学习和内部统计学习放在同一个计算框架之中来训练模型将是目前所需要完成的任务。

我的想法

1.如果把单个图像进行裁剪旋转等操作加入到原有的数据集当中

论文中也有提到，对于外部学习来说，这会破坏他从外部统计中学习到的内容。那么在内部统计方面，可能会有意想不到的效果，如果可行的话，新添的数据的大小将会非常关键。

2.把大量ZSSR的模型进行平均或其他操作

效果可能不尽如人意，需要更深一步的理解和计算，如果知识把多个图像内部统计进行平均，破坏了图片内部统计，并且并没有得到外部统计的信息，只是淡化了每个图片的内部统计而已。所以其他的操作也是必须的。

3.结合已有的模型参数进行对抗性训练

使用一个已经训练完成的网络如EDSR，将图片分别通过EDSR网络和新构建的网络，进行对抗性训练。看上去不错，但可能实际上就是让新构建的网络学习EDSR网络，具体的操作还有待考察。