Unsupervised Single Image Deraining with Self-supervised Constraints论文阅读

原文链接:https://arxiv.org/pdf/1811.08575.pdf

文中提到以往的无监督方法因为没有对应的ground truth来计算mse约束生成图像,因此会产生一些artifacts,还有就是以往的图像转换任务都是one to one 的transform,而雨的不确定性太多,有很多不同的视觉表现。因此文中提出了self-supervised的约束方法,如图:

输入带雨的图片R到生成网络Gc 中生成区域之后的图片C’,再R-C’得到雨层S’,再将其与真实的干净图像结合,合成带雨的图片与真实的带雨的图片输入到鉴别器Ds中让它去鉴别哪个是真的雨,哪个是合成的雨。

BGM中将输入图像R和生成图C’ 分别加不同程度的高斯模糊之后来求平均梯度差(average gradient error)约束使得生成图保留住背景内容。

同时也用了一个轻量级网络Gr来反向生成带雨的图片约束生成图中保留住需要保留的信息。

因为参考的不带雨图像可能是晴天拍摄的,所以会生成雨天亮度相符的生成图像,因此文中又加了鉴别器Dc,使得生成图与真实不带雨的图像更接近的同时也约束了生成图的亮度。C为真实的不带雨的图,E为对C做了亮度提升的图。

最后的总的loss:

w1,w2,w3,w4分别为1,5,1,0.5

猜你喜欢

转载自blog.csdn.net/Jerry_Leo_liu/article/details/85013130