论文笔记 Combining the Power of Internal and External Denoising

IEEE论文地址:
https://ieeexplore.ieee.org/document/6528298

abstract

这篇论文是我在阅读上一篇论文，图像中内部统计的时候接触到的。上一篇论文介绍了图像中内部统计的强大。有很多可以值得利用的地方(ZSSR已经利用并且取得了很好的效果)。
这篇论文提出的是一种将内部降噪和外部降噪结合的降噪方法，在当时的水平获得了很出色的效果。结合的方式很简单，就是对于某一块patch，根据判定的条件，使用内部降噪或者外部降噪。

原理

论文的实验证明了当噪声越大时，内部降噪会取得更好的效果，在平滑补丁中的表现也更好。实验数据表明平滑补丁的近邻中有大量的类似的优质的补丁，在扩大范围时，局部的近邻补丁的均方误差会变大，这是因为添加噪声时，内部补丁都会添加噪声，导致了均方误差较高，但是小于外部降噪对于噪声的过拟合的误差。相反，外部降噪会固有的存在一些误差（无论是平滑补丁还是细节补丁），但是这个误差在细节补丁中远小于内部降噪中过拟合的误差。

总结

内部降噪的误差主要是在细节补丁中，因为细节补丁一般存在较少的优质相似近邻，此时的均方误差会比较大。
外部降噪有两个误差，一是固有的噪声均值（因为噪声均值不为0，但是假设都为0），二是过度拟合噪声细节（当snr较小的时候，噪声比较大，外部降噪会搜索更多的噪声，导致了过拟合）。因此，在平滑补丁（噪声较大）中，外部降噪容易过拟合，并且会存在固有的误差。在细节补丁（噪声较小）中，外部降噪不容易过拟合，也就说有更好的信号适应性，即使是有固有的误差，但是这个误差是比内部去噪的过拟合小的。

最后

这篇论文结合了内部外部降噪，同样，现在的SR问题也面临着这个问题。如何把内部数据统计和外部数据统计结合起来。譬如说这一篇论文的方法，以实验的数据总结，得到PatchSNR为0.45这个阈值，大于则使用external方法，小于则使用internal方法。ZSSR方法同样可以用一个阈值，来与EDSR相结合。那么，这个阈值如何体现到CNN网络上，又是一个新的问题。