Deep Image Prior，CVPR2018文章解读

版权声明：本博主原创文章，欢迎转载。 https://blog.csdn.net/qq_24915933/article/details/88763950

Deep Image Prior是发表于CVPR2018，文章介绍了直接利用随机初始化的深度卷积（生成）网络来进行图像去噪，修补，超分辨率等图像逆向工程。

作者认为不需要从大量的图像中来学习图像的先验信息，就能做到图像修复等，也就是直接把卷积生成网络看成一般的待优化函数，直接进行梯度优化，而不是基于大量的图像学习，文章的原话是：we cast reconstruction as a conditional image generation problem and show that the only information required to solve it is contained in the single degraded input image and the handcrafted structure of the network used for reconstruction. No aspect of the network is learned from data;the weights of the network are always randomly initialized, so that the only prior information is in the structure of the network itself.

文章的方法流程如下：

1. 对于一幅待修复的图像x0
2. 随机初始化深度卷积（生成）网络f的参数
3. 将随机向量z（可以看作是隐变量），输入到f中
4. 对f进行参数的迭代优化，选择合适的优化算法（文章介绍的是梯度下降算法），目标函数是生成的图像x和待修复图像x0求MSE（逐像素的差方均值，这样会使得生成的图像更加平滑）
5. 该优化过程最终结果会输出一张和待修复图像x一致的图像（但是会更平滑一些），但是在迭代的过程中（不是终止），我们可以得到一张没有被损坏的图像x*，相当于可以看作被损坏的图像是真实图像x*+损坏形式的组合，作者认为在优化过程中，深度卷积网络会首先根据图像和网络本身的先验信息，生成一张没有被损坏的原始图像，而在后面继续的优化过程，则会学习到图像的损坏，如加性噪声，图像缺失等。对蜗牛图像进行修复，2400次迭代时，得到了最佳的修复图像，50000次迭代后图像过拟合，即输出了原图
6. 作者同时尝试了各种深度卷积网络对Deep Image Prior的影响，认为深度卷积神经网络仍然需要进一步被设计优化。（This also validates the importance of developing new deep learning architectures.）
   

文章源码【code】