论文主要贡献:
1)提出基于cGAN的网络DeblurGAN 和content loss
2) 提出一个合成模糊图像的方法
损失函数
Adversarial loss
WGAN-GP:实现了在多种GAN结构上稳定训练,且几乎不需要调整超参数。
Content loss
内容损失,也就是评估生成的清晰图像和ground truth之间的差距。
两个常用的选择是L1(也称为MAE,mean absolute error)损失,和L2(也称为MSE)损失。
最近提出了“perceptual loss”,它本质上就是一个L2 loss,它计算的是CNN生成的feature map和ground truth的feature map之间的距离。
运动模糊图像生成
step1. 采用了Boracchi和Foi[1]提出的运动轨迹随机生成方法(用马尔科夫随机过程生成);
step2. 对轨迹进行“sub-pixel interpolation”生成blur kernel。这种方法也只能在二维平面空间中生成轨迹,并不能模拟真实空间中6D相机的运动。
训练:
perform 5 gradient descent steps on D, then one step on G, using Adam as a solver.
The learning rate is set initially to 10^-4 for both generator and critic.
After the first 150 epochs we linearly decay the rate to zero over the next 150 epochs.
batch size = 1
DeblurGAN
损失函数:
保留DeblurGAN中PatchGAN鉴别器,还引入了全局鉴别器,称此为双尺度鉴别器(double-scale discriminator)。这样的改进可以使得DeblurGAN-v2更好的处理较大的和异质的真实世界模糊。
Ladv: contains both global and local discriminator losses.
content loss Lx:
pixel-space loss Lp: mean-square-error (MSE) loss. correct color and texture distortions.
运动模糊图像生成
将原始240fps视频通过视频插帧方法变为3840fps视频,然后再同一时间窗下采用均值池化方式制作模糊数据。它会导致更平滑和更连续的模糊。该方法对PSNR/SSIM无明显影响,但提高了视觉质量