模糊(二)DeblurGAN

论文主要贡献:

1)提出基于cGAN的网络DeblurGAN 和content loss
2)  提出一个合成模糊图像的方法

损失函数

  Adversarial loss

WGAN-GP:实现了在多种GAN结构上稳定训练,且几乎不需要调整超参数。

 Content loss

内容损失,也就是评估生成的清晰图像和ground truth之间的差距。

两个常用的选择是L1(也称为MAE,mean absolute error)损失,和L2(也称为MSE)损失。

最近提出了“perceptual loss”,它本质上就是一个L2 loss,它计算的是CNN生成的feature map和ground truth的feature map之间的距离。

运动模糊图像生成 

step1. 采用了Boracchi和Foi[1]提出的运动轨迹随机生成方法(用马尔科夫随机过程生成);

step2. 对轨迹进行“sub-pixel interpolation”生成blur kernel。这种方法也只能在二维平面空间中生成轨迹,并不能模拟真实空间中6D相机的运动。

 训练:

perform 5 gradient descent steps on D, then one step on G, using Adam as a solver.

The learning rate is set initially to 10^-4 for both generator and critic.

After the first 150 epochs we linearly decay the rate to zero over the next 150 epochs.

 batch size = 1

DeblurGAN 

损失函数:

保留DeblurGAN中PatchGAN鉴别器,还引入了全局鉴别器,称此为双尺度鉴别器(double-scale discriminator)。这样的改进可以使得DeblurGAN-v2更好的处理较大的和异质的真实世界模糊。

  

Ladv: contains both global and local discriminator losses.

content loss Lx:

pixel-space loss Lp:  mean-square-error (MSE) loss. correct color and texture distortions.

运动模糊图像生成

将原始240fps视频通过视频插帧方法变为3840fps视频,然后再同一时间窗下采用均值池化方式制作模糊数据。它会导致更平滑和更连续的模糊。该方法对PSNR/SSIM无明显影响,但提高了视觉质量

猜你喜欢

转载自blog.csdn.net/weixin_41386168/article/details/119933602