PMS-Net: Robust Haze Removal Based on Patch Map for Single Images(基于单幅图像贴图的稳健除雾)

简介:

本文提出了一种新的基于斑块图的雾霾去除算法。传统的基于补丁的雾霾去除算法(例如,暗通道优先)通常以固定的补丁大小执行去雾。然而,它可能会导致一些问题,如过饱和和颜色失真。因此,在本文中,我们设计了一个自适应的、自动的面片大小选择模型,称为面片地图选择网络(PMS-Net),用于选择每个像素对应的面片大小。该网络是基于卷积神经网络(CNN)设计的,它可以从输入图像生成面片图。在合成图像和真实图像上的实验结果表明,结合所提出的PMS网络,雾霾去除性能远远优于最先进的算法,并且我们可以解决固定斑块大小所带来的问题。

总体构架:

提出的烟雾消除算法的流程图:

核心构架图:主要分为两个部分,编码部分:首先将输入图像通过一个3*3 filter16通道的卷积核映射到高维空间,然后通过Multiscale U-module从更高维度的数据中提取图像特征。解码部分:运用GCN进行解码上采样,BR保留图像边界信息,而且这种密集的连接可以合并高分辨率和低分辨率的信息,最终得到更好的patch map。

 提出的多W-ResBlock和多Deconv block的结构:在每一个MSWR中都沿用了相同的架构(conv-BN-relu-dropout-conv-BN-relu),这样多架构的结合架构不仅可以提取细节信息,而且这样的网络可以更有效的得到传输图或是无雾图像。

数据集:在这项工作中,采用 NYU-depth2 数据集 和 RESIDE 数据集 。在训练过程中,总共使用了 2192 张图像,其中包括来自 NYU-depth2 数据集的 1200 张图像、来自 RESIDE 数据集的 492 张图像和 500 张合成图像作为训练数据。在训练模型中,学习率为e-4,采用Adam优化器。批量大小设置为 4,损失函数为均方误差 (MSE)。在每个 epoch 中,我们采用提前停止并使用 10% 的原始数据作为验证集。与其他的去雾工作类似,对于测试数据集,我们使用这些数据集中剩余的图像作为测试集。从 NYU-depth2 数据集中获取 150 张图像,并将合成雾度应用于这些图像作为测试 A,从 RESIDE 数据集和 NYU-depth2 数据集中获取 200 个室外图像和 100 个室内图像作为测试 B。

结果展示:

对测试A数据集进行定性分析:

对测试B数据集进行定性分析:

 

猜你喜欢

转载自blog.csdn.net/zhangmeili_9/article/details/122728898