这是一篇2018年CVPR的论文,强调的一点是生成网络(GAN)和回归网络的互补互助,将两个网络结合在一起进行端到端的训练。
作者运用了“没有条件要创造条件”的思想,提出了通过GAN生成的伪参考图引导质量回归网络来解决无参考图像质量评价问题。
数据库:LIVE、CSIQ、TID2008、TID2013
项目:https://kwanyeelin.github.io/projects/HIQA/HIQA.html
框架:caffe
贡献:
1、在质量回归网络中引入GAN,为NR提供了伪参考图;
2、在GAN的生成器中加入了质量感知的loss;
3、使用判别器判别伪参考图;
4、进行特征融合,防止无意义的伪参考图对R造成影响;
网络架构
生成网络:输入为失真图像,通过卷积和反卷积,生成一张伪参考图(Hallucinated image);
判别网络:判断生成的伪参考图和失真图像是否相似;
图像质量预测网络:输入是失真图和伪参考图与失真图的差异图(Discrepancy Map),输出质量分数。
1、质量感知生成器(G)
总损失:
Lp损失是参考图与GT的像素级误差(MSE),即
Ls损失是特征空间质量感知误差,即
Lv是G的相关损失,Lq是R网络相关的损失(这样通过R网络预测质量分数的好坏,影响了G网络)。
Ladv是G的对抗损失,即
2、判别器(D)
引入了对抗生成的机制,判别G生成的图片是否真实,反向促进了G的优化
3、质量回归网络(R)
输入:失真图和差异图
高级语义融合:防止生成无意义的伪参考图影响R质量回归。
损失: